dbaplus社群 01月03日
领导说以后禁用 Redis 的 keys 命令,发现即开除!
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

本文深入探讨了Redis中keys命令的潜在性能问题,特别是在生产环境中可能导致的阻塞风险。keys命令通过扫描所有key来查找匹配项,在数据量大时会显著降低Redis性能,甚至可能引发主从切换和脑裂等问题。文章分析了keys命令在Redis集群中的执行方式,即在每个节点上执行并合并结果。通过腾讯云Redis集群的慢查询日志,证实了keys命令在百万级数据量下的耗时,并指出其执行时间与key的数量成正比。因此,文章建议禁用keys命令,并推荐使用scan命令或将数据放入set中作为替代方案,以避免阻塞和性能问题。

⚠️`keys`命令在Redis中用于查找匹配的key列表,但会扫描所有key,导致性能瓶颈,特别是在数据量大的情况下,会阻塞Redis进程。

⚙️在Redis集群环境中,`keys`命令会在每个节点上执行,并将结果合并,这进一步加剧了其性能问题。慢查询日志显示,在百万级key的情况下,`keys`命令的执行时间可能高达数百毫秒,甚至数秒。

✅文章建议生产环境中禁用`keys`命令,并推荐使用`scan`命令作为替代方案,`scan`命令通过游标分批次扫描key,避免了一次性扫描所有key带来的阻塞问题,或者将需要统计的数据放入set中。

💡本文还指出,`keys`命令的执行时间与key的数量成正比,因此,随着数据量的增加,其性能问题会更加突出。文章分析了`keys`命令的执行原理,并说明了其慢的原因是与key的数量有关,与Big Key关系不大。

c&0xff00 2025-01-03 07:15 广东

查找符合正则匹配的key的列表。扫描对象是Redis服务中所有的key,想想都很慢对不对?


keys命令的用法:


keys pattern


查找符合正则匹配的key的列表。扫描对象是Redis服务中所有的key,想想都很慢对不对?


同时执行keys命令的同时,Redis进程将被阻塞,无法执行其他命令,假如超过了哨兵的down-after-milliseconds配置,还会进行主从切换,切换过程中,如果主节点恢复正常,还可能出现脑裂等一系列问题。


所以,生产环境中,建议直接禁用keys命令。


Keys命令的替代方案



Keys命令在Redis Cluster中是怎样执行的?


一般来说,keys命令对于集群节点来说,是不知道路由到哪个节点的,不像 get命令。在Java的Jedis客户端的JedisClusterKeyCommands类中,我们看到:


public Set<byte[]> keys(byte[] pattern) { // 在每个节点执行keys命令 Collection<Set<byte[]>> keysPerNode = connection.getClusterCommandExecutor()   .executeCommandOnAllNodes((JedisClusterCommandCallback<Set<byte[]>>) client -> client.keys(pattern))   .resultsAsList(); // 合并成一个整体后返回 Set<byte[]> keys = new HashSet<>(); for (Set<byte[]> keySet : keysPerNode) {  keys.addAll(keySet); } return keys;}


我们看到,Jedis是通过在每个节点上执行keys命令,并将结果合并返回的。


本文既然将keys命令的慢,那么他到底有多慢呢?另外,如果你近期准备面试跳槽,建议在Java面试库小程序在线刷题,涵盖 2000+ 道 Java 面试题,几乎覆盖了所有主流技术面试题。


Keys命令到底有多慢?


这里主要是给大家一个基本的概念,并不是深入剖析。



这是腾讯云上Redis集群服务中,慢查询的日志。我们看到,Keys命令大概执行了250ms ~ 300ms。




根据节点信息,我们看到,每个节点存储了大约153w的key,占用内存300M+,平均每个键值对占用内存0.208KB,合213个字节。


根据我的理解,既然keys命令返回的是key值,而集群中其实有一个结构slots_to_keys 记录着所有key 的, 这只与key的数量有关,与Big key的关系不大。


按照这种猜想,假如此时Redis节点占用内存为3G,且Key数量成比例,那么Keys命令执行时间因为3s左右,这段时间Redis节点是阻塞的。


来源丨网址:https://blog.csdn.net/weixin_37968613/article/details/119065777

版权声明:本文为CSDN博主「c&0xff00」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。


dbaplus社群欢迎广大技术人员投稿,投稿邮箱:editor@dbaplus.cn


阅读原文

跳转微信打开

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

Redis keys命令 性能优化 scan命令 集群
相关文章