Redis 集群搭建

发表于   |   分类于

Redis集群介绍

Redis 集群是一个提供在多个Redis间节点间共享数据的程序集。
Redis集群并不支持处理多个keys的命令,因为这需要在不同的节点间移动数据,从而达不到像Redis那样的性能,在高负载的情况下可能会导致不可预料的错误.
Redis 集群通过分区来提供一定程度的可用性,在实际环境中当某个节点宕机或者不可达的情况下继续处理命令. Redis 集群的优势:
自动分割数据到不同的节点上。
整个集群的部分节点失败或者不可达的情况下能够继续处理命令。

Redis 集群的数据分片

Redis 集群没有使用一致性hash, 而是引入了 哈希槽的概念.
Redis 集群有16384个哈希槽,每个key通过CRC16校验后对16384取模来决定放置哪个槽.集群的每个节点负责一部分hash槽,举个例子,比如当前集群有3个节点,那么:
节点 A 包含 0 到 5500号哈希槽.
节点 B 包含5501 到 11000 号哈希槽.
节点 C 包含11001 到 16384号哈希槽.
这种结构很容易添加或者删除节点. 比如如果我想新添加个节点D, 我需要从节点 A, B, C中得部分槽到D上. 如果我像移除节点A,需要将A中得槽移到B和C节点上,然后将没有任何槽的A节点从集群中移除即可. 由于从一个节点将哈希槽移动到另一个节点并不会停止服务,所以无论添加删除或者改变某个节点的哈希槽的数量都不会造成集群不可用的状态.

Redis 集群的主从复制模型

为了使在部分节点失败或者大部分节点无法通信的情况下集群仍然可用，所以集群使用了主从复制模型,每个节点都会有N-1个复制品.
在我们例子中具有A，B，C三个节点的集群,在没有复制模型的情况下,如果节点B失败了，那么整个集群就会以为缺少5501-11000这个范围的槽而不可用.
然而如果在集群创建的时候（或者过一段时间）我们为每个节点添加一个从节点A1，B1，C1,那么整个集群便有三个master节点和三个slave节点组成，这样在节点B失败后，集群便会选举B1为新的主节点继续服务，整个集群便不会因为槽找不到而不可用了
不过当B和B1 都失败后，集群是不可用的.

Redis 一致性保证

Redis 并不能保证数据的强一致性. 这意味这在实际中集群在特定的条件下可能会丢失写操作.
第一个原因是因为集群是用了异步复制. 写操作过程:
客户端向主节点B写入一条命令.
主节点B向客户端回复命令状态.
主节点将写操作复制给他得从节点 B1, B2 和 B3.
主节点对命令的复制工作发生在返回命令回复之后， 因为如果每次处理命令请求都需要等待复制操作完成的话， 那么主节点处理命令请求的速度将极大地降低 —— 我们必须在性能和一致性之间做出权衡。 注意：Redis 集群可能会在将来提供同步写的方法。 Redis 集群另外一种可能会丢失命令的情况是集群出现了网络分区， 并且一个客户端与至少包括一个主节点在内的少数实例被孤立。
举个例子 假设集群包含 A 、 B 、 C 、 A1 、 B1 、 C1 六个节点， 其中 A 、B 、C 为主节点， A1 、B1 、C1 为A，B，C的从节点， 还有一个客户端 Z1 假设集群中发生网络分区，那么集群可能会分为两方，大部分的一方包含节点 A 、C 、A1 、B1 和 C1 ，小部分的一方则包含节点 B 和客户端 Z1 .
Z1仍然能够向主节点B中写入, 如果网络分区发生时间较短,那么集群将会继续正常运作,如果分区的时间足够让大部分的一方将B1选举为新的master，那么Z1写入B中得数据便丢失了.
注意， 在网络分裂出现期间， 客户端 Z1 可以向主节点 B 发送写命令的最大时间是有限制的， 这一时间限制称为节点超时时间（node timeout）， 是 Redis 集群的一个重要的配置选项：

Redis安装

这里在本机安装6个redis-server，分别监听6379，6380，6381，6382，6383，6384端口。

这里我们只需要修改一下默认6379端口它的配置，使之支持集群模式

redis安装略

集群配置

1
2
3
4
5
6
7
vim /etc/redis/redis_6379
...
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes
...

复制相关配置文件

1
2
3
4
5
6
7
8
9
10
11
12
cd /etc/redis/
cp 6379.conf 6380.conf
cp 6379.conf 6381.conf
cp 6379.conf 6382.conf
cp 6379.conf 6383.conf
cp 6379.conf 6384.conf
cd /etc/init.d/
cp redis_6379.conf redis_6380.conf
cp redis_6379.conf redis_6381.conf
cp redis_6379.conf redis_6382.conf
cp redis_6379.conf redis_6383.conf
cp redis_6379.conf redis_6384.conf

修改监听端口

1
2
3
4
5
6
7
8
9
10
11
12
cd /etc/redis/
sed -i 's/6379/6380/g' 6380.conf
sed -i 's/6379/6381/g' 6381.conf
sed -i 's/6379/6382/g' 6382.conf
sed -i 's/6379/6383/g' 6383.conf
sed -i 's/6379/6384/g' 6384.conf
cd /etc/init.d/
sed -i 's/6379/6380/g' redis_6380.conf
sed -i 's/6379/6381/g' redis_6381.conf
sed -i 's/6379/6382/g' redis_6382.conf
sed -i 's/6379/6383/g' redis_6383.conf
sed -i 's/6379/6384/g' redis_6384.conf

启动redis-server

1
2
3
4
5
6
/etc/init.d/redis_6379 start
/etc/init.d/redis_6380 start
/etc/init.d/redis_6381 start
/etc/init.d/redis_6382 start
/etc/init.d/redis_6383 start
/etc/init.d/redis_6384 start

查看是否正常启动

1
2
3
4
5
6
7
8
9
10
11
12
13
netstat -ntlp | grep redis
tcp        0      0 0.0.0.0:6379                0.0.0.0:*                   LISTEN      8238/redis-server 0
tcp        0      0 0.0.0.0:6380                0.0.0.0:*                   LISTEN      8248/redis-server 0
tcp        0      0 0.0.0.0:6381                0.0.0.0:*                   LISTEN      8257/redis-server 0
tcp        0      0 0.0.0.0:6382                0.0.0.0:*                   LISTEN      8266/redis-server 0
tcp        0      0 0.0.0.0:6383                0.0.0.0:*                   LISTEN      8275/redis-server 0
tcp        0      0 0.0.0.0:6384                0.0.0.0:*                   LISTEN      8284/redis-server 0
tcp        0      0 0.0.0.0:16379               0.0.0.0:*                   LISTEN      8238/redis-server 0
tcp        0      0 0.0.0.0:16380               0.0.0.0:*                   LISTEN      8248/redis-server 0
tcp        0      0 0.0.0.0:16381               0.0.0.0:*                   LISTEN      8257/redis-server 0
tcp        0      0 0.0.0.0:16382               0.0.0.0:*                   LISTEN      8266/redis-server 0
tcp        0      0 0.0.0.0:16383               0.0.0.0:*                   LISTEN      8275/redis-server 0
tcp        0      0 0.0.0.0:16384               0.0.0.0:*                   LISTEN      8284/redis-server 0

文件中的 cluster-enabled 选项用于开实例的集群模式， 而 cluster-conf-file 选项则设定了保存节点配置文件的路径， 默认值为 nodes.conf.节点配置文件无须人为修改， 它由 Redis 集群在启动时创建， 并在有需要时自动进行更新。
要让集群正常运作至少需要三个主节点，不过在刚开始试用集群功能时， 强烈建议使用六个节点： 其中三个为主节点， 而其余三个则是各个主节点的从节点。

创建集群

现在我们已经有了六个正在运行中的 Redis 实例， 接下来我们需要使用这些实例来创建集群， 并为每个节点编写配置文件。
通过使用 Redis 集群命令行工具 redis-trib ， 编写节点配置文件的工作可以非常容易地完成： redis-trib 位于 Redis 源码的 src 文件夹中， 它是一个 Ruby 程序， 这个程序通过向实例发送特殊命令来完成创建新集群， 检查集群， 或者对集群进行重新分片（reshared）等工作。

创建集群的脚本依赖于ruby所以要先安装ruby,具体安装方法参考这里 https://github.com/postmodern/ruby-install

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
cd /opt/redis-3.2.9/src/
./redis-trib.rb create --replicas 1 127.0.0.1:6379 127.0.0.1:6380 \
127.0.0.1:6381 127.0.0.1:6382 127.0.0.1:6383 127.0.0.1:6384
/opt/rubies/ruby-2.4.1/lib/ruby/2.4.0/rubygems/core_ext/kernel_require.rb:55:in `require': cannot load such file -- redis (LoadError)
	from /opt/rubies/ruby-2.4.1/lib/ruby/2.4.0/rubygems/core_ext/kernel_require.rb:55:in `require'
	from ./redis-trib.rb:25:in `<main>'`
# Ruby的redis接口没有安装
gem install redis

# 再次尝试创建集群
./redis-trib.rb create --replicas 1 127.0.0.1:6379 127.0.0.1:6380 127.0.0.1:6381 127.0.0.1:6382 127.0.0.1:6383 127.0.0.1:6384
>>> Creating cluster
>>> Performing hash slots allocation on 6 nodes...
Using 3 masters:
127.0.0.1:6379
127.0.0.1:6380
127.0.0.1:6381
Adding replica 127.0.0.1:6382 to 127.0.0.1:6379
Adding replica 127.0.0.1:6383 to 127.0.0.1:6380
Adding replica 127.0.0.1:6384 to 127.0.0.1:6381
M: 734a40d9b0d08ed8ac1b9c91157c776b5532bd69 127.0.0.1:6379
   slots:0-5460 (5461 slots) master
M: 6a2e8ec1a6e1e149e5e18980a5c539db9d2a75a5 127.0.0.1:6380
   slots:5461-10922 (5462 slots) master
M: 87f48e91ca3ea67ecc5e16a68d451b3a40752cfe 127.0.0.1:6381
   slots:10923-16383 (5461 slots) master
S: fe321040d7f1bf31e6e39a2f9cf135b2ea67811d 127.0.0.1:6382
   replicates 734a40d9b0d08ed8ac1b9c91157c776b5532bd69
S: f07a2c551126fb308c9e5bdd991883b5023b2de1 127.0.0.1:6383
   replicates 6a2e8ec1a6e1e149e5e18980a5c539db9d2a75a5
S: 8c1eeceb94871b1672e18432aa16f30a43f73ff2 127.0.0.1:6384
   replicates 87f48e91ca3ea67ecc5e16a68d451b3a40752cfe
Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join....
>>> Performing Cluster Check (using node 127.0.0.1:6379)
M: 734a40d9b0d08ed8ac1b9c91157c776b5532bd69 127.0.0.1:6379
   slots:0-5460 (5461 slots) master
   1 additional replica(s)
M: 87f48e91ca3ea67ecc5e16a68d451b3a40752cfe 127.0.0.1:6381
   slots:10923-16383 (5461 slots) master
   1 additional replica(s)
M: 6a2e8ec1a6e1e149e5e18980a5c539db9d2a75a5 127.0.0.1:6380
   slots:5461-10922 (5462 slots) master
   1 additional replica(s)
S: fe321040d7f1bf31e6e39a2f9cf135b2ea67811d 127.0.0.1:6382
   slots: (0 slots) slave
   replicates 734a40d9b0d08ed8ac1b9c91157c776b5532bd69
S: 8c1eeceb94871b1672e18432aa16f30a43f73ff2 127.0.0.1:6384
   slots: (0 slots) slave
   replicates 87f48e91ca3ea67ecc5e16a68d451b3a40752cfe
S: f07a2c551126fb308c9e5bdd991883b5023b2de1 127.0.0.1:6383
   slots: (0 slots) slave
   replicates 6a2e8ec1a6e1e149e5e18980a5c539db9d2a75a5
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

这个命令在这里用于创建一个新的集群, 选项–replicas 1 表示我们希望为集群中的每个主节点创建一个从节点。
之后跟着的其他参数则是这个集群实例的地址列表,3个master3个slave redis-trib 会打印出一份预想中的配置给你看， 如果你觉得没问题的话， 就可以输入 yes ， redis-trib 就会将这份配置应用到集群当中,让各个节点开始互相通讯,最后可以得到如下信息：

测试

查看集群状态

1
2
3
4
5
6
7
8
9
10
11
12
13
redis-cli -c -p 6379
127.0.0.1:6379> CLUSTER info
cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:3
cluster_current_epoch:6
cluster_my_epoch:1
cluster_stats_messages_sent:192
cluster_stats_messages_received:192

测试存储取值

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
127.0.0.1:6379> set foo bar
-> Redirected to slot [12182] located at 127.0.0.1:6381
OK
127.0.0.1:6381> set hello world
-> Redirected to slot [866] located at 127.0.0.1:6379
OK
127.0.0.1:6379> get foo
-> Redirected to slot [12182] located at 127.0.0.1:6381
"bar"
127.0.0.1:6381> get foo
"bar"
127.0.0.1:6381> get hello
-> Redirected to slot [866] located at 127.0.0.1:6379
"world"
127.0.0.1:6379> get hello
"world"

参考

http://www.redis.cn/topics/cluster-tutorial.html

https://www.zybuluo.com/phper/note/195558

http://blog.csdn.net/ownfire/article/details/39395531

坚持原创技术分享，您的支持将鼓励我继续创作！