Redis｜集群 Cluster

是什么

• 定义：由于数据量过大，单个Master复制集难以承担，因此需要对多个复制集进行集群，形成水平扩展。每个复制集只负责存储整个数据集 的一部分，这就是Redis的集群，其作用是提供在多个Redis节点间共享数据的程序集。
• 官网：https://redis.io/docs/reference/cluster-spec/
• 一图

• 一句话：Redis集群是一个提供在多个Redis节点间共享数据的程序集，Redis集群可以支持多个master。
• Redis 集群是 Redis 提供的分布式解决方案，用于管理大规模数据集和高并发访问。它通过分片（sharding）将数据分布在多个节点上，提供高可用性和扩展性。

能干嘛

• Redis集群支持多个master，每个master又可以挂载多个slave
  • 读写分离
  • 支持数据的高可用
  • 支持海量数据的读写存储操作
• 由于Cluster自带Sentinel的故障转移机制，内置了高可用的支持，无需再去使用哨兵功能
• 客户端与Redis的节点连接，不再需要连接集群中所有的节点，只需要任意连接集群中的一个可用节点即可
• 槽位slot负责分配到各个物理服务节点，由对应的集群来负责维护节点、插槽和数据之间的关系

集群算法-分片-槽位slot

• 官网出处

redis集群的槽位slot

• Redis集群的数据分片
• Redis集群没有使用一致性hash，而是引入了哈希槽的概念。
  • 一致性哈希是一种特殊的哈希算法，用于解决传统哈希（如取模哈希）在分布式系统中的节点扩容和缩容问题。它将整个哈希值空间组织成一个虚拟的环状结构（哈希环），数据和服务器（节点）都映射到这个哈希环上，以实现数据的分布。
  • 哈希槽主要用于 Redis Cluster 这样的分布式数据库系统，用于数据分片和管理。Redis Cluster 采用16384个哈希槽，所有 key 都会被映射到 0~16383 之间的某个哈希槽中。

• Redis集群有16384个哈希槽，每个key通过CRC16校验后对16384取模来决定放置哪个槽，集群的每个节点负责一部分hash槽
• 举个例子，比如当前集群有3个节点，那么：

redis集群的分片

• 分片是什么：使用Redis集群时我们会将存储的数据分散到多台redis机器上，这称为分片。简言之，集群中的每个Redis实例都被认为是整个数据的一个分片。
• 如何找到给定key的分片：为了找到给定key的分片，我们对key进行CRC16(key)算法处理并通过对总分片数量取模。然后，使用确定性哈希函数，这意味着给定的key将多次始终映射到同一个分片，我们可以推断将来读取特定key的位置。

分片+槽位的优势

• 最大优势：方便扩容/缩容和数据分派查找
• 这种结构很容易添加或者删除节点，比如如果我想添加个节点D，我需要从节点A，B，C中得部分槽位到D上。如果我想移除节点A，需要将A中的槽移动到B和C节点上，然后将没有任何槽的节点从集群中移除即可。
• 由于一个结点将哈希槽移动到另一个节点不会停止服务，所以无论添加删除或者改变某个节点的哈希槽的数量都不会造成集群不可用的状态。
• 扩容时，Redis 不是按顺序转移槽位，而是按节点的负载来选择迁移策略。目的是让槽位分布尽量均衡，而不是严格按 A ➝ B ➝ C ➝ D 顺序迁移。直接从 A、B 迁移给 D，减少额外的中间数据传输，提高效率。这样可以最小化数据重分布的影响，确保集群稳定运行。

slot槽位映射——业界的3种解决方案

小厂：哈希取余分区

• 2亿条记录就是2亿个k,v，我们单机承受不了，必须要分布式多机，假设有3台机器构成一个集群，用户每次读写操作都是根据公式：hash(key) % N个机器台数，计算出哈希值，用来决定数据映射到哪一个节点上。
• 优点：简单粗暴，直接有效，只需要预估好数据规划好节点，例如3台、8台、10台，就能保证一段时间的数据 支撑。使用Hash算法让固定的一部分请求落到同一台服务器上，这样每台服务器固定处理一部分请求 (并维护这些请求的信息)， 起到负载均衡+分而治之的作用。
• 缺点：原来规划好的节点，进行扩容或者缩容就比较麻烦了，不管扩缩，每次数据变动导致节点有变动，比如第一次set k1 v1在第一台机器上，第二次我扩容后要去修改k1的值，set k1 v2，但是这个时候落在的扩容后的那台机器上，映射关系需要重新进行计算，在服务器个数固定不变时没有问题，如果需要弹性扩容或故障停机的情况下，原来的取模公式就会发生变化: Hash(key)/3会变成Hash(key) /?。此时地址经过取余运算的结果将发生很大变化，根据公式获取的服务器也会变得不可控。 某个redis机器宕机了，由于台数数量变化，会导致hash取余全部数据重新洗牌。

中厂：一致性哈希算法分区

• 是什么：一致性Hash算法背景是在1997年由麻省理工学院提出的，设计目标是为了解决分布式缓存数据变动和映射问题，某个机器宕机了，分母数量改变了，自然取余数不行了

• 能干嘛：提出一致性Hash解决方案。目的是当服务器个数发生变动时，尽量减少影响客户端到服务器的映射关系

• 三大步骤：

  1. 算法构建一致性哈希环

     • 一致性哈希算法必然有个hash函数并按照算法产生hash值，这个算法的所有可能哈希值会构成一个全量集，这个集合可以成为一个hash空间[$0$，$2^{32}-1$]，这个是一个线性空间，但是在算法中，我们通过适当的逻辑控制将它首尾相连($0=2^{32}$)，这样让它逻辑上形成了一个环形空间。
     • 它也是按照使用取模的方法，前面笔记介绍的节点取模法是对节点（服务器）的数量进行取模。而一致性Hash算法是对$2^{32}$取模，简单来说，一致性Hash算法将整个哈希值空间组织成一个虚拟的圆环，如假设某哈希函数H的值空间为$0～2^{32}-1$(即哈希值是一个32位无符号整形），整个哈希环如下图:整个空间按顺时针方向组织，圆环的正上方的点代表0，O点右侧的第一个点代表1，以此类推，2、3、4、……直到$2^{32}-1$，也就是说0点左侧的第一个点代表$2^{32}-1$，0和$2^{32}-1$在零点中方向重合，我们把这个由$2^{32}$个点组成的圆环称为Hash环。
       

  2. redis服务器IP节点映射

     • 将集群中各个IP节点映射到环上的某一个位置。
     • 将各个服务器使用Hash进行一个哈希，具体可以选择服务器的IP或主机名作为关键字进行哈希，这样每台机器就能确定其在哈希环上的位置。假如4个节点NodeA、B、C、D，经过IP地址的哈希函数计算(hash(ip))，使用IP地址哈希后在环空间的位置如下:

  3. key落到服务器的落键规则

     • 当我们需要存储一个kv键值对时，首先计算key的hash值，hash(key)，将这个key使用相同的函数Hash计算出哈希值并确定此数据在环上的位置，从此位置沿环顺时针“行走”，第一台遇到的服务器就是其应该定位到的服务器，并将该键值对存储在该节点上。
     • 如我们有Object A、 Object B、 Object C. object D四个key数据对象，经过哈希计算后，在环空间上的位置如下:根据一致性Hash算法，数据A会被定为到Node A上，B被定为到Node B上，C被定为到Node C上，D被定为到Node D上。

• 优点：

  • 一致性哈希算法的容错性：

    • 假设Node C宕机，可以看到此时对象A、B、D不会受到影响。
    • 一般的，在一致性Hash算法中，如果一台服务器不可用，则受影响的数据仅仅是此服务器到其环空间中前一台服务悉（即沿着逆时针方向行走遇到的第一台服务器）之间数据，其它不会受到影响。
    • 简单说，就是C挂了，受到影响的只是B、C之间的数据且这些数据会转移到D进行存储。

  • 一致性哈希算法的扩展性：

    • 数据量增加了，需要增加一台节点NodeX，X的位置在A和B之间，那收到影响的也就是A到X之间的数据，重新把A到X的数据录入到X上即可，不会导致hash取余全部数据重新洗牌。

• 缺点：一致性哈希算法的数据倾斜问题，容易头重脚轻。

  • 一致性Hash算法在服务节点太少时，容易因为节点分布不均匀而造成数据倾斜（被缓存的对象大部分集中缓存在某一台服务器上)问题
  • 例如系统中只有两台服务器：

• 小总结

  • 为了在节点数目发生改变时尽可能少的迁移数据
  • 将所有的存储节点排列在收尾相接的Hash环上，每个key在计算Hash后会顺时针找到临近的存储节点存放。而当有节点加入或退出时仅影响该节点在Hash环上顺时针相邻的后续节点。
  • 优点：加入和删除节点只影响哈希环中顺时针方向的相邻的节点，对其他节点无影响。
  • 缺点：数据的分布和节点的位置有关，因为这些节点不是均匀的分布在哈希环上的，所以数据在进行存储时达不到均匀分布的效果。

大厂：哈希槽分区

• 是什么？HASH_SLOT = CRC16(key) mod 16384

  • 为什么出现？
    • 上面提到，一致性哈希算法会存在数据倾斜的问题
    • 哈希槽实质就是一个数组，数组 [ $0$，$2^{14}-1$ ] 形成hash slot空间。$2^{14}=16384$
  • 能干什么？
    • 解决均匀分配的问题，在数据和节点之间又加入了一层，把这层称为哈希槽(slot)，用于管理数据和节点之间的关系，现在就相当于节点上放的是槽，槽里面放的是数据。
    • 槽解决的是粒度问题，相当于把粒度变大了，这样便于数据移动。哈希解决的是映射问题，使用key的哈希值来计算所在的槽，便于数据分配
    • 粒度问题 指的是数据分片的精细程度。如果粒度太小（如每个键单独分片），管理开销会很大；如果粒度太大（如所有键都在一个分片），会导致负载不均衡。
    • 槽将多个键聚合到一个分片单元中，减少了分片的数量（从键级别到槽级别），降低了管理开销。槽的分配可以动态调整，确保数据均匀分布到各个节点，避免热点问题。当集群扩容或缩容时，只需迁移槽，而不是单个键，提高了效率。
    • 传统的分片策略（如客户端分片）通常是以 key 为单位决定数据存储位置，key 直接映射到特定的服务器，迁移时需要操作大量 key，管理复杂。Redis 集群引入 槽（slot） 的概念，把数据管理的粒度从单个 key 变为16384 个槽，一个节点可以管理多个槽，槽内部的 key 由该节点负责。粒度变大：相比直接对单个 key 进行管理，Redis 通过 槽 进行管理，使得数据划分和迁移的操作更加高效。
    • 由于 Redis 采用槽的方式进行分片，如果要进行数据迁移（比如增加/删除节点），Redis 只需要移动部分槽到新的节点，而不是逐个 key 进行操作。这样可以降低迁移开销，提高数据重分布的效率，从而保证集群的可扩展性。
    • 通过槽的方式，每个节点可以持有多个槽，分配更均匀，避免单个节点负载过高。如果集群扩容，只需要将部分槽从老节点迁移到新节点，而不需要修改 key 的哈希映射规则。
  • 多少个hash槽
    • 一个集群只能有16384个槽，编号0-16383($0$-$2^{14}-1$)。这些槽会分配给集群中的所有主节点，分配策略没有要求。
    • 集群会记录节点和槽的对应关系，解决了节点和槽的关系后，接下来就需要对key求哈希值，然后对16384取模，余数是几key就落入对应的槽里。
    • HASH_SLOT = CRC16(key) mod 16384。以槽为单位移动数据，因为槽的数目是固定的，处理起来比较容易，这样数据移动问题就解决了。

• 哈希槽计算

• Redis集群中内置了16384个哈希槽，redis 会根据节点数量大致均等的将哈希槽映射到不同的节点。当需要在Redis集群中放置一个key-valuel时，redis先对key使用crc16算法算出一个结果然后用结果对16384求余数[ CRC16(key) % 16384]，这样每个key都会对应一个编号在0-16383之间的哈希槽，也就是映射到某个节点上。

• 如下代码，key之A、B在Node2， key之C落在Node3上

面试题：为什么 Redis 集群的最大槽数是16384个？

• Redis集群并没有使用一致性hash，而是引入了哈希槽的概念。
• Redis 集群有16384个哈希糟，每个key通过CRC16校验后对16384取模来决定放置哪个槽，集群的每个节点负责一部分hash槽。
• 但为什么哈希槽的数量是16384 (2^14）个呢？
• CRC16算法产生的hash值有16bit，该算法可以产生$2^{16}=65536$个值。 换句话说值是分布在0～65535之间，有更大的65536不用为什么只用16384就够?
• 作者在做mod运算的时候，为什么不mod65536，而选择mod16384?HASHSLOT=CRC16(key)mod65536为什么没启用？
• 作者回答：https://github.com/redis/redis/issues/2576

• 正常的心跳数据包带有节点的完整配置，可以用幂等方式用旧的节点替换旧节点，以便更新旧的配置。 这意味着它们包含原始节点的插槽配置，该节点使用2k的空间和16k的插槽，但是会使用8k的空间（使用65k的插槽）。
• 同时，由于其他设计折衷，Redis集群不太可能扩展到1000个以上的主节点。 因此16k处于正确的范围内，以确保每个主机具有足够的插槽，最多可容纳1000个矩阵，但数量足够少，可以轻松地将插槽配置作为原始位图传播。
• 请注意，在小型群集中，位图将难以压缩，因为当N较小时，位图将设置的slot / N位占设置位的很大百分比。

• 看不懂？我也是！上具体解释！

  1. 如果槽位为65536，发送心跳信息的消息头达8k，发送的心跳包过于庞大。
     • 在消息头中最占空间的是myslots[CLUSTER_SLOTS/8]。当槽位为65536时，这块的大小是:65536÷8÷1024=8kb。
     • 在消息头中最占空间的是myslots[CLUSTER_SLOTS/8]。当槽位为16384时，这块的大小是:16384∶8∶1024=2kb。
     • 因为每秒钟，redis节点需要发送一定数量的ping消息作为心跳包，如果槽位为65536，这个ping消息的消息头太大了，浪费带宽。
  2. redis的集群主节点数量基本不可能超过1000个。
     • 集群节点越多，心跳包的消息体内携带的数据越多。
     • 如果节点过1000个，也会导致网络拥堵。
     • 因此redis作者不建议redis cluster节点数量超过1000个。那么，对于节点数在1000以内的redis cluster集群，16384个槽位够用了。没有必要拓展到65536个。
  3. 槽位越小，节点少的情况下，压缩比高，容易传输。
     • Redis主节点的配置信息中它所负责的哈希槽是通过一张bitmap的形式来保存的，在传输过程中会对bitmap进行压缩，但是如果bitmap的填充率slots /N很高的话(N表示节点数)， bitmap的压缩率就很低。
     • 如果节点数很少，而哈希槽数量很多的话，bitmap的压缩率就很低。

• Redis集群不保证强一致性，这意味着在特定的条件下，Redis集群可能会丢掉一些被系统收到的写入请求命令。比如刚写完数据还没来得及同步就宕机了的master，slave上位就会导致写丢失。

集群环境案例步骤

集群常用操作命令和CRC16算法分析