今天收到报警,两个节点之间连接断了,登录节点查看信息,发现已经恢复,好像并没有问题。
但是查看这两个redis节点的日志如下: 可以看出第一个节点收到主节点断开的消息,然后自己成为主库。之后又收到主节点好了的消息,就又把master让给了之前的主节点,开始复制主节点的数据。
(按理来说主节点起来之后不应该直接抢走master,不然会丢失数据,这里先不作讨论(ps:还没找到原因*^*))
再查看另外一个节点的日志: 可以看出,其中有一句报错信息
omem=67108864 events=r cmd=hgetall scheduled to be closed ASAP for overcoming of output buffer limits可以看出,主库在接收到一次hgetall命令之后,占用输出缓冲区64M的内存(67108864B=64MB),超出了缓冲区的限制,所以马上把 hgetall scheduled 关闭了。(ASAP表示越快越好, adv 副词)
之后就看到它跟从库的连接断了,,,
二、查看资料对于Redis服务器的输出(也就是命令的返回值)来说,其大小通常是不可控制的。有可能一个简单的命令,能够产生体积庞大的返回数据。另外也有可能因为执行了太多命令,导致产生返回数据的速率超过了往客户端发送的速率,这是也会导致服务器堆积大量消息,从而导致输出缓冲区越来越大,占用过多内存,甚至导致系统崩溃。
所幸,Redis设置了一些保护机制来避免这种情况的出现,不同类型的客户端有不同的限制参数。限制方式有如下两种:
大小限制,当某一个客户端的缓冲区超过某一个大小值时,直接关闭这个客户端的连接;
持续性限制,当某一个客户端的缓冲区持续一段时间占用过大空间时,会直接关闭客户端连接。
我们来看看配置文件关于客户端输出缓冲区的配置:
client-output-buffer-limit normal 0 0 0client-output-buffer-limit slave 256mb 64mb 60client-output-buffer-limit pubsub 8mb 2mb 60