缘起

某个线上系统平时非常稳定，当大量更新数据时，系统的服务就会严重超时。问题存在了一段时间，基本猜测系统超时和大量写入数据有关，但却无法给出确切的解释。为此已经写了2篇文章：

问题解释

问题的解释很简单：系统过载。由于系统定期更新大量数据，更新期间磁盘读IO性能很差，导致每个服务的时延极大增加，整个系统的吞吐量大幅降低。该系统没有采用合理的过载保护策略，导致后续的包全部超时！！！

什么情况会导致系统过载？系统处理能力 < 请求量 = 系统过载。设计系统时都需要系统的处理能力，比如每秒的处理能力、请求峰值、平均处理时延等。这3个指标可很好地估计系统最大处理能力、需要多少机器提供服务、是否需要扩容等。但评估容易只关注 请求量峰值，而忽略系统处理能力的变化。从公式上看，系统处理能力降低同样会造成过载。

过载成因基本就2种：超过硬件系统极限能力、超出软件系统的极限能力。超出硬件能力比较少见，重点关注软件系统：操作系统和应用软件。操作系统负责统一调配和管理硬件资源，应用系统通过系统调用使用机器的硬件资源，当对资源的使用超过操作系统所能承受的上限，将导致整体处理能力急剧下降。应用系统一般包括下列四种类型的瓶颈，某些应用系统可能同时包含2个及2个以上的瓶颈因素：

CPU（计算密集型）

MEMORY（内存消耗型）

LOAD（大并发型）

IO（包括两类，磁盘IO密集型如DISK、DB；网络IO密集型：流量、连接数等）

系统瓶颈理论上是系统中最慢的系统资源，比如上述诸多资源中的一种，在突破瓶颈阀值时系统出现拐点，性能会急剧下降（底层原因比如进程调度频繁、网络拥塞、随机磁盘IO导致文件系统cache命中率下降及磁盘物理IO频繁---机械臂移动、SWAP换入换出频繁等等），因此识别系统各环节处理能力及其瓶颈至关重要。

问题的解决

解决该问题大概有以下几种思路：

1）分散写；

2）写时不提供服务；

3）过载保护：丢弃超时的请求。

一种简单的过载保护

linux的网络包带有时间戳，可通过ioctl获取网络包的时间戳。该时间戳表示网络包接收时的时间戳(本机)。因此比较当前时间和网络包的时间戳即可判断请求是否超时，若超时，直接丢弃。这个办法可快速清空超时的请求，避免由于处理超时请求，导致后续的请求无法被正常响应。

 示例代码：

int GetPkgTime(int sockfd, struct timeval *pkgTv){    struct timeval tv;    int iRet;        iRet = ioctl(sockfd, SIOCGSTAMP, &tv);    if(iRet < 0)    {        return -1;    }           *pkgTv = tv;    return 0;}int IsPkgTimeout(int sockfd, int ms ){    struct timeval tv;    if( GetPkgTime( sockfd, &tv) != 0){        return -1;    }    long pastTime = PostTime(&tv);    if( pastTime >= ms * 1000){        return 1;    }    return 0;}

相关文章

如何定位系统性能瓶颈和调优，参考： 

更多的过载保护，参考：