知方号

知方号

压力测试中出现500服务端错误

压力测试中出现500服务端错误

压力测试中出现500服务端错误 背景

项目需要进行阶段性压力测试,所以想模拟真实的正式环境,所以是直接使用域名访问进行压力。整个请求链路大概如下:

现象

客户端现象:在压测的时候,只要客户端线程数量上去,就会收到很多失败请求,返回响应码:500,响应消息:Internal server error 。

服务端现象:Tomcat服务器没有慢响应接口,资源没有满,没有任何错误日志。

排查过程

由于经验不是很足,所以第一时间想到的是可能Tomcat容器撑不住了,导致响应超时;我后来又去查询了一下,超时的响应码是:504,响应消息:time out。

并且之前压测没有因为超时而产生服务端错误的情况。所以暂时没有了思路。

后来冷静下来分析,可能Nginx的问题,于是去查询Nginx的配置,果然发现一些小毛病,Nginx配置了一个限流的配置,并且是根据IP作为Key进行桶令牌限流,瞬间觉得问题得到解决,把配置给去了。

再次压测,依然服务端错误,并且只要线程上去就会报,线程降低一些就不会报。顿时又失去了一些思路。

后来向一个测试的同事求助,还好测试的同事经验比较丰富,那你去看一下Nginx的日志啊,也许能找到线索呢。内心卧槽,自己怎么这么蠢,日志都不知道去看。立马跑去看Nginx的日志,果然有错误报出。错误Too many open files。顿时问题才得到彻底解决,找运维把Linux的文件句柄限制给改一下。

复盘

为啥之前压测同样的机器没有出现这个问题呢?

后来才发现,自己改了Jmeter的配置,把请求的keeplive模式给去了,导致每次请求都会新建

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至lizi9903@foxmail.com举报,一经查实,本站将立刻删除。