一篇弄懂Redis中的BigKey问题

​

​前段时间，看到这个BigKey的问题，因为理解的模糊不清的不太舒服，于是就有了下文的总结。​

​

📙

• ​​🍖redis中的BigKey问题及解决方案❓​​

• ​​🎈BigKey问题是什么​​
• ​​🎈BigKey问题怎么产生​​
• ​​🎈BigKey问题怎么定位​​
• ​​🎈BigKey造成的影响​​
• ​​🎈BigKey问题如何解决​​

• ​​🍚拓展​​
• ​​💯总结​​

🤞这次都给他拿下🤞

正菜来了🛴🛴🛴

🍖redis中的BigKey问题及解决方案❓

🎈BigKey问题是什么

BigKey的具体表现是redis中的key对应的value很大，占用的redis空间比较大，本质上是大value问题。

常几个常见的例子:

● 对于String类型的value值，值超过5MB（数据值过大）；

● 对于List类型的value值，含有的成员数量为20000个（成员数量多）；

● 对于ZSet类型的value值，含有的成员数量为10000个（成员数量多）；

● 对于Hash格式的value值，含有的成员数量1000个，但所有成员变量的总value值大小为100MB（成员总的体积过大）；

🎈BigKey问题怎么产生

1. redis中的key-value键值对设置不当，造成key对应的value值特别大。
2. 对于list，set这种类型的结构，无效的数据没有及时的删除。
3. 对业务分析不准确，导致实际业务中value值过大，如热点问题。

🎈BigKey问题怎么定位

1. 使用redis自带的命令 redis-cli --bigkeys 在线扫描大key，显示的信息不详细，但是不影响redis的正常使用。
2. 使用第三方工具redis-rdb-tools，使用过程中会先使用bgsave命令dump一个rdb镜像，然后对这个镜像进行分析，不影响redis对外提供服务。

🎈BigKey造成的影响

1. 占用内存增大

   相比于正常的Key，读取大key需要的内存会有所增大，如果像是value中的list不断变大，可能会造成OOM（内存溢出），还有一种就是达到redis设置的最大内存maxmemory值会造成写阻塞或者部分重要的Key被redis的淘汰策略给删除了。

2. 网络阻塞延迟变大

   在读取大key的时候，由于读取的内容较多，占用较大的带宽，造成网络带宽的阻塞，也会影响其他的应用，导致网络阻塞延迟变大。

3. IO阻塞延迟增大

   BigKey问题对应的value相对较大，当对较大的value进行读写，耗费的时间较长，这样就可能阻塞后续的请求处理，其实主要是BigKey的value进行IO写的时候会耗费较长的时时间，IO写是把处理之后值通过网络返回给请求端，因为Redis的核心线程是单线程，也就是工作线程是单线程，单线程中的任务处理是串行执行的，前面的任务完成之后，后面的任务才能继续执行，所以因为单个BigKey的原因可能造成IO阻塞延迟。

4. .BigKey迁移困难

   这个问题是出现在Redis集群中，当需要对大value进行迁移（对于Redis 集群slot的迁移），主要是使用migrate命令进行迁移的，migrate命令是通过dump和restore和del三个命令组合成原子命令完成，如果是存在bigkey的话，可能会因为大value的原因导致迁移失败，而且较慢的migrate会阻塞Redis，影响Redis服务。

🎈BigKey问题如何解决

1. 针对BigKey进行拆分

   通过将BigKey拆分成多个小Key的键值对，并且拆分后的对应的value大小和拆分成的成员数量比较合理，然后进行存储即可，在获取的时候通过get不同的key或是用mget批量获取存储的键值对。

2. 清理无效的数据

   这个主要是针对像是list和set这种类型，在使用的过程中，list和set中对应的内容不断增加，但是由于之前存储的已经是无效的了，需要定时的对list和set进行清理。

3. 压缩对应的BigKey的value

   可以通过序列化或者压缩的方法对value进行压缩，是其变为较小的value，但是如果压缩之后如果对应的value还是特别大的话，就需要使用拆分的方法进行解决了。

4. 监控Redis中内存，带宽，增长率

   通过监控系统，监控redis中的内存占用大小和网络带宽的占用大小，以及固定时间内的内存占用增长率，当超过设定的阈值的时候，进行报警通知处理。

   ​

   ​温馨提醒：这个有点多，请仔细看下去​

   ​

🍚拓展

💯总结