【Redis】Redis是如何优化内存的？（过期键、淘汰、扩容、对象自动释放）

来源： https://blog.csdn.net/qq_30154571/article/details/121706116?utm_medium=distribute.pc_aggpage_search_result.none-task-blog-2~aggregatepage~first_rank_ecpm_v1~rank_v31_ecpm-12-121706116-null-null.pc_agg_new_rank&utm_term=Redis+%E7%BC%93%E5%AD%98%E6%80%8E%E4%B9%88%E5%81%9A%E6%89%A9%E5%AE%B9&spm=1000.2123.3001.4430

 

前言

一说到优化内存，再结合Redis的本身特性——基于内存的操作，我感觉有很多东西都可以说啊，比如说：

• 比如redis内存满了怎么办？这涉及到过期键的删除策略

一、过期键删除

Redis是key-value数据库，可以设置key的过期时间，来及时释放内存，否则可能会导致写命令返回错误信息等问题。

1、过期策略通常有以下三种：

• 定时过期：每个设置过期时间的key都需要创建一个定时器，到过期时间就会立即清除。该策略可以立即清除过期的数据，对内存很友好；但是会占用大量的CPU资源去处理过期的数据，从而影响缓存的响应时间和吞吐量。
• 惰性过期：只有真正的访问到一个key时，才会判断该key是否已过期，过期则清除。该策略可以最大化地节省CPU资源，却对内存非常不友好。极端情况可能出现大量的过期key没有再次被访问，从而不会被清除，占用大量内存。
• 定期过期：每隔一定的时间，会扫描一定数量的数据库的expires字典中一定数量的key，并清除其中已过期的key。该策略是前两者的一个折中方案。通过调整定时扫描的时间间隔和每次扫描的限定耗时，可以在不同情况下使得CPU和内存资源达到最优的平衡效果。

Redis中同时使用了惰性过期和定期过期两种过期策略。

2、过期key是怎么维护的？

这些设置了过期时间的key专门存放在数据库结构中的一个地方，expires字典保存了数据库中所有键的过期时间， 我们称这个字典为过期字典。

• 过期字典的键是一个指针， 这个指针指向键空间中的某个键对象(也即是某个数据库键)。
• 过期字典的值是一个long类型的整数， 这个整数保存了键所指向的数据库键的过期时间（单位为毫秒）

3、删除过期键的真正流程

• 从服务器及时发现键过期了，也不会自己删除它，而是等待主节点发来DEL命令，再统一进行删除，一次来保证主从服务器的数据一致性。
• 当一个过期键被删除后，服务器（主/从）会追加一条DEL命令到AOF末尾来备份。
• 主服务器删除一个过期键的时候，回向所有从服务器发送DEL。

4、备份文件对于过期键的处理

(1) RDB的生成

• 在执行SAVE命令或者BGSAVE命令，创建一个新的RDB文件时， 已过期的键不会被保存到新创建的RDB文件中。
• 举个例子， 如果数据库中包含三个键kl、k2、k3,并且k2已经过期， 那么当执行SAVE命令或者BGSAVE命令时， 程序只会将k1和k3的数据保存到RDB文件中， 而k2则会被忽略。

(2) RDB的载入

在启动Redis服务器时， 如果服务器开启了 RDB功能， 那么服务器将对RDB文件进行载入：

• 如果服务器以主服务器模式运行， 那么在载入RDB文件时， 程序会对文件中保存的键进行检査， 未过期的键会被载入到数据库中， 而过期键则会被忽略， 所以过期键对载入RDB文件的主服务器不会造成影响。
• 如果服务器以从服务器模式运行， 那么在载入RDB文件时， 文件中保存的所有键,不论是否过期， 都会被载入到数据库中。 不过， 因为主从服务器在进行数据同步的时候， 从服务器的数据库就会被清空， 所以一般来讲， 过期键对载入RDB文件的从服务器也不会造成影响。
• 举个例子， 如果数据库中包含三个键kl、k2、k3,并且k2已经过期， 那么当服务器启动时：如果服务器以主服务器模式运行， 那么程序只会将k1和k3载入到数据库， k2会被忽略。如果服务器以从服务器模式运行， 那么kl、k2和k3都会被载入到数据库。

(3)AOF写入

如果客户端使用GET message命令， 试图访问过期的message键， 那么
服务器将执行以下三个动作：

1. 从数据库中删除message键。
2. 追加一条DEL message命令到AOF文件。
3. 向执行GET命令的客户端返回空回复。

(4)AOF重写

和生成RDB文件时类似， 在执行AOF重写的过程中， 程序会对数据库中的键进行检査， 已过期的键不会被保存到重写后的AOF文件中。

举个例子， 如果数据库中包含三个键kl、k2、k3,并且k2已经过期， 那么在进行重写工作时， 程序只会对kl和k3进行重写， 而k2则会被忽略。

因此， 数据库中包含过期键不会对AOF重写造成影响

二、内存淘汰策略

注意，有别于过期键删除（不管你内存满不满，我的key该删就删），Redis的内存淘汰策略是指内存不足时，怎么处理需要新写入的数据，并申请额外的空间。

1、全局的键空间选择性移除

• noeviction：当内存不足以容纳新写入数据时，新写入操作会报错。
• allkeys-lru：当内存不足以容纳新写入数据时，在键空间中，移除最近最少使用的key。（这个是最常用的）
• allkeys-random：当内存不足以容纳新写入数据时，在键空间中，随机移除某个key。

2、设置过期时间的键空间选择性移除

• volatile-lru：当内存不足以容纳新写入数据时，在设置了过期时间的键空间中，移除最近最少使用的key。
• volatile-random：当内存不足以容纳新写入数据时，在设置了过期时间的键空间中，随机移除某个key。
• volatile-ttl：当内存不足以容纳新写入数据时，在设置了过期时间的键空间中，有更早过期时间的key优先移除。

总结

Redis的内存淘汰策略的选取并不会影响过期的key的处理：

• 内存淘汰策略用于处理内存不足时的需要申请额外空间的数据；
• 过期策略用于处理过期的缓存数据。

补充：

三、良好的数据结构节省内存

可以好好利用Hash,list,sorted set,set等集合类型数据，因为通常情况下很多小的Key-Value可以用更紧凑的方式存放到一起。尽可能使用散列表（hashes），散列表（是说散列表里面存储的数少）使用的内存非常小，所以你应该尽可能的将你的数据模型抽象到一个散列表里面。

1、整数集合的存储空间扩容

2、哈希表存储对象

• 比如你的web系统中有一个用户对象，不要为这个用户的名称，姓氏，邮箱，密码设置单独的key，而是应该把这个用户的所有信息存储到一张散列表里面

3、哈希表的灵活扩、缩容

四、对象释放机制

每一个对象（字符串、set、Zset、list、hash等等）都内置一个LRU属性

• 该属性记录了对象最后一次被命令程序访问的时间。

如果服务器打开了 maxmemory选项， 并且服务器用于回收内存的算法为volatile-lru或者allkeys-lru,那么当服务器占用的内存数超过了 maxmemory选项所设置的上限值时， 空转时长较高的那部分键会优先被服务器释放， 从而回收内存。