百万级消息推送 Redis 性能排查
您目前处于:技术核心竞争力  2015-02-22

最近查看消息推送的监控信息,日推送量到百万,但是随之而来的是 TP99 搞到 5秒,详细对日志打了埋点,监控其瓶颈,最终定位是 Redis 的性能问题。

但是令人疑惑的是,对比了其他应用系统 Redis 的性能,日吞吐量亿次的 TP99 才 5~10ms,故猜测一定是应用问题导致了 Redis 的性能下降!

查看了应用服务器的网络 IO,发现网络吞吐量异常的汹涌!

查看了 Redis 服务器的配置参数,发现 Redis 内存占用 7G+,Key键值对 1200万+,Reids 的使用可见一斑!但这并不能直接影响 Redis 的性能下降!

于是,我们又查看了 Redis 的 Showlog,终于发现详细,Redis 被大量的调用 SMEMBERS 命令,而每次调用几乎耗时 5s+。

SMEMBERS 命令是从一个 Set 结构获取集合,但这个集合数据量已经很大,当这个结合被频繁的调用,会极大的占用网络 IO,当网络被占满时,其余的操作也变得慢下来!

同时,查看了 Redis 的连接情况,发现连接数 1000 左右,保持的比较高,又重新查看 Redis 的配置文件!

配置文件中 timeout = 0,这表明 Redis 默认不会断开客户端的连接,这造成的问题:已经无效的连接会造成网络 IO 的浪费!

这次问题排查的反思,跟之前 502 有些相似,都是隐藏极深的问题导致的,问题不再是赤裸裸的暴露出来,而是蒙上了一层面纱!


本文受原创保护,未经作者授权,禁止转载。 linkedkeeper.com (文/张松然)  ©著作权归作者所有