|
今天突然系统调用出现大量 502 错误！ 502 错误是请求已经到了HTTP服务器（Nginx），但是在反向代理时请求不到应用服务器（Tomcat）！ 查看了实例应用的 JVM 探针！下面是异常前日和当日（上图是昨日，下图是今日）各项参数的对比。 1. CPU： 昨天的 CPU 使用率稳定 4%，而今日则有较大波动！
2. JVM 堆内存：两日相比，异常当日 JVM 堆内存的增长较前日要异常的！
3. Full GC：由于 JVM 对内存增长很快，造成 Full GC 的次数较前日有明显增加！
4. Young GC：对比两日的 Young GC，频次也有较大不同！
6. 线程数：昨日的线程数稳定在 1100+ 左右，而今天在异常时段暴涨到 1700+！
JVM 各项参数的异常，尤其是线程数的暴涨！再查看的服务器的系能参数（上图是昨日，下图是今日）。 1. TCP Conn：昨日的 TCP Conn 稳定波动在 100~200 之间，而今天在异常时段达到到 6000！ 这就是问题点，Tomcat 的默认线程池大小是 1000个，而且请求多是 Http 短连接，其实很难线程池溢出！
2. Load：系统 Load 在异常时段较昨日下降很多，推断：极有可能是有请求超时，后续的请求被堵塞，同时 系统 Load 下降！
根据已上推断，检查所有方法调用监控！ 确有发现（上图是今日、下图是昨日），一外部方法调用的 TP99 达到 150s，而昨日正常 100ms！
追诉其根本，由于该方法还调用了内部服务，属于 RPC 调用，检查其方法调用，发现方法可用率跌至 7%，同时调用次数也急剧上上！
至此，系统 502 Bad Gateway的问题定位！ 同时也吸取教训，作为系统外部服务的提供者，尤其是接入层，对接逻辑容器时，应该添加缓冲队列！由同步改成异步调用！ 本文受原创保护，未经作者授权，禁止转载。 linkedkeeper.com (文／张松然) ©著作权归作者所有 |
