本篇文章主要介紹了Redis分片集群搭建與使用，本篇將以redis 分片集群為切入點(diǎn)，從redis 分片集群的搭建開(kāi)始，詳細(xì)說(shuō)說(shuō)redis 分片集群相關(guān)的技術(shù)點(diǎn)，希望對(duì)大家有幫助。

推薦學(xué)習(xí)：Redis視頻教程

前言

redis可以說(shuō)在實(shí)際項(xiàng)目開(kāi)發(fā)中使用的非常頻繁，在redis常用集群中，我們聊到了redis常用的幾種集群方案，不同的集群對(duì)應(yīng)著不同的場(chǎng)景，并且詳細(xì)說(shuō)明了各種集群的優(yōu)劣，本篇將以redis 分片集群為切入點(diǎn)，從redis 分片集群的搭建開(kāi)始，詳細(xì)說(shuō)說(shuō)redis 分片集群相關(guān)的技術(shù)點(diǎn)；

• 單點(diǎn)故障；
• 單機(jī)寫(xiě)（高并發(fā)寫(xiě)）瓶頸；
• 單機(jī)存儲(chǔ)數(shù)據(jù)容量限制；
• 集群自動(dòng)伸縮；
• 集群自動(dòng)故障下線與轉(zhuǎn)移；

搭建集群架構(gòu)圖

前置準(zhǔn)備

1、準(zhǔn)備一臺(tái)（或6臺(tái)服務(wù)器，條件允許的情況下）虛擬機(jī)或服務(wù)器；

本例為演示效果準(zhǔn)備了一臺(tái)內(nèi)存8G的服務(wù)器，將通過(guò)端口進(jìn)行master和slave的劃分

2、提前下載好redis安裝包；

搭建步驟

1、創(chuàng)建6個(gè)目錄文件，分別用于保存各個(gè)redis示例的數(shù)據(jù)

mkdir 7001 7002 7003 8001 8002 8003

2、在當(dāng)前目錄下創(chuàng)建一個(gè)redis.conf文件，內(nèi)容如下

port 6379 # 開(kāi)啟集群功能 cluster-enabled yes # 集群的配置文件名稱(chēng)，不需要我們創(chuàng)建，由redis自己維護(hù) cluster-config-file /usr/local/soft/redis/6379/nodes.conf # 節(jié)點(diǎn)心跳失敗的超時(shí)時(shí)間 cluster-node-timeout 5000 # 持久化文件存放目錄 dir /usr/local/soft/redis/6379 # 綁定地址 bind 0.0.0.0 # 讓redis后臺(tái)運(yùn)行 daemonize yes # 注冊(cè)的實(shí)例ip replica-announce-ip 本機(jī)公網(wǎng)IP # 保護(hù)模式 protected-mode no # 數(shù)據(jù)庫(kù)數(shù)量 databases 1 # 日志 logfile /usr/local/soft/redis/6379/run.log

3、批量將該配置文件拷貝到各個(gè)目錄下

echo 7001 7002 7003 8001 8002 8003 | xargs -t -n 1 cp redis.conf

4、修改每個(gè)目錄下redis.conf，將其中的6379修改為與所在目錄一致

printf '%sn' 7001 7002 7003 8001 8002 8003 | xargs -I{} -t sed -i 's/6379/{}/g' {}/redis.conf

隨機(jī)打開(kāi)某個(gè)redis.conf看看是否修改成功

4、使用下面的命令進(jìn)行啟動(dòng)

/usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/7001/redis.conf /usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/7002/redis.conf /usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/7003/redis.conf  /usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/8001/redis.conf /usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/8002/redis.conf /usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/8003/redis.conf

執(zhí)行完成后，可以看到6個(gè)redis實(shí)例已經(jīng)開(kāi)啟

創(chuàng)建集群

通過(guò)以上的步驟，就開(kāi)啟了6個(gè)redis的實(shí)例，但是這些實(shí)例之間并沒(méi)有形成一個(gè)集群，接下來(lái)就需要執(zhí)行相關(guān)的命令將它們構(gòu)成一個(gè)集群

1、使用如下命令構(gòu)建集群（5.0之后的版本的命令）

redis-cli --cluster create --cluster-replicas 1 IP地址:7001 IP地址:7002 IP地址:7003 IP地址:8001 IP地址:8002 IP地址:8003

關(guān)于上面命令的說(shuō)明

• redis-cli –cluster 或者 ./redis-trib.rb：代表集群操作命令；
• create：代表是創(chuàng)建集群；
• –replicas 1或者–cluster-replicas 1 ：指定集群中每個(gè)master的副本個(gè)數(shù)為1，此時(shí)節(jié)點(diǎn)總數(shù) ÷ (replicas + 1)得到的就是master的數(shù)量。因此節(jié)點(diǎn)列表中的前n個(gè)就是master，其它節(jié)點(diǎn)都是slave節(jié)點(diǎn)，隨機(jī)分配到不同master ；

也可以通過(guò) redis-cli –cluster help 命令進(jìn)行集群命令的查看;

執(zhí)行命令后，控制臺(tái)提示將會(huì)使用哪個(gè)示例作為master，哪個(gè)作為slave；

繼續(xù)輸入yes之后，將會(huì)按照上面的策略創(chuàng)建一個(gè)集群出來(lái)

通過(guò)這個(gè)輸出的日志大概可以得出如下信息：

• 端口號(hào)依次為7001，7002和7003的為master節(jié)點(diǎn)；
• 端口號(hào)依次為8001，8002和8003的為slave節(jié)點(diǎn)；
• 端口號(hào)依次為7001，7002和7003的master節(jié)點(diǎn)，各自分配了一定區(qū)間的槽位數(shù)，分別是：[0-5460]，[5461-10922]，[10923-16383]，即總共分配16384個(gè)槽位；

2、查看集群狀態(tài)

redis-cli -p 7001 cluster nodes

通過(guò)這個(gè)命令，可以清楚的看到集群中各個(gè)實(shí)例節(jié)點(diǎn)的主從狀態(tài)，實(shí)例ID（唯一身份標(biāo)識(shí)），槽位區(qū)間等信息

Redis散列插槽說(shuō)明

其實(shí)對(duì)redis分片集群稍有了解的同學(xué)應(yīng)該知道，redis分片集群在邏輯上將集群中的所有節(jié)點(diǎn)構(gòu)成了一塊完整的內(nèi)存空間，數(shù)據(jù)寫(xiě)入進(jìn)來(lái)后，具體存放到哪個(gè)節(jié)點(diǎn)呢？所以集群引入了一個(gè)邏輯尚的插槽概念，即將集群劃分為16384個(gè)槽位，集群中的每個(gè)節(jié)點(diǎn)占據(jù)一部分槽位數(shù)（這個(gè)日志中可以看出來(lái)）；

那么當(dāng)某個(gè)具體的key寫(xiě)入的時(shí)候，集群將會(huì)通過(guò)一定的算法，將要寫(xiě)入的數(shù)據(jù)路由到指定的插槽上去；

這里有個(gè)點(diǎn)需要注意，數(shù)據(jù)key不是與節(jié)點(diǎn)綁定，而是與插槽綁定。

redis集群會(huì)根據(jù)key的有效部分計(jì)算插槽值，分兩種情況：

• key中包含"{}"，且“{}”中至少包含1個(gè)字符，“{}”中的部分是有效部分；
• key中不包含“{}”，整個(gè)key都是有效部分；

舉例來(lái)說(shuō)：key是num，那么就根據(jù)num計(jì)算，如果是{應(yīng)用名稱(chēng)}num，則根據(jù)“應(yīng)用名稱(chēng)”計(jì)算。計(jì)算方式是利用CRC16算法得到一個(gè)hash值，然后對(duì)16384取余，得到的結(jié)果就是slot值

下面不妨看下效果

通過(guò)上面的演示可以發(fā)現(xiàn)，經(jīng)過(guò)集群計(jì)算的key將會(huì)分配到不同的插槽上，也就是說(shuō)，key是與插槽綁定，而不是與某個(gè)節(jié)點(diǎn)綁定，想想為什么會(huì)這樣呢？

思考下面這個(gè)需求

如何將同一類(lèi)數(shù)據(jù)固定的保存在同一個(gè)Redis實(shí)例？

簡(jiǎn)單來(lái)說(shuō)，如果key的分配完全沒(méi)有規(guī)則的話(huà)，當(dāng)涉及到某個(gè)業(yè)務(wù)類(lèi)的數(shù)據(jù)對(duì)應(yīng)的key隨機(jī)分配到不同的節(jié)點(diǎn)上面時(shí)，取值的時(shí)候就會(huì)出現(xiàn)像上面的重定向跨節(jié)點(diǎn)的問(wèn)題，一定程度上提升性能；

解決辦法

這一類(lèi)數(shù)據(jù)使用相同的有效部分，例如key都以{業(yè)務(wù)ID}為前綴

集群伸縮（添加節(jié)點(diǎn)）

reids的cluster模式下，有一個(gè)比較強(qiáng)的功能就是集群的伸縮能力，即在現(xiàn)有的集群基礎(chǔ)上，可以根據(jù)實(shí)際的業(yè)務(wù)需求，進(jìn)行集群的伸縮，下面來(lái)演示下給上面的集群添加一個(gè)新節(jié)點(diǎn)的步驟；

1、在當(dāng)前目錄下拷貝一個(gè)目錄

2、修改配置文件的端口

sed -i s/6379/7004/g 7004/redis.conf

3、啟動(dòng)這個(gè)實(shí)例

/usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/7004/redis.conf

4、使用下面的命令將7004實(shí)例假如集群

redis-cli --cluster add-node IP:7004 IP:7001

5、再次查看集群狀態(tài)

redis-cli -p 7001 cluster nodes

通過(guò)上面的狀態(tài)信息發(fā)現(xiàn)，7004這個(gè)節(jié)點(diǎn)雖然加入了集群，并成了master，但是集群并沒(méi)有給它分配任何的插槽

6、分配插槽

分配插槽的基本思路是，從現(xiàn)有的某個(gè)節(jié)點(diǎn)上遷移部分插槽到新的節(jié)點(diǎn)即可，執(zhí)行下面的命令進(jìn)行插槽分配

redis-cli --cluster reshard 101.34.23.80:7001

執(zhí)行命令后將出現(xiàn)下面的提示，這里輸入你要轉(zhuǎn)移的插槽數(shù)量

將7004對(duì)應(yīng)的實(shí)例ID輸入即可

輸入yes后開(kāi)始移動(dòng)插槽

移動(dòng)完成后，再次查看集群狀態(tài)，這時(shí)候7004對(duì)應(yīng)的節(jié)點(diǎn)就分配到了從0 ~ 500的數(shù)量的插槽

故障轉(zhuǎn)移

redis的cluster模式的集群，還具備一定的故障轉(zhuǎn)移能力，比如在上面的架構(gòu)模式下，當(dāng)集群中的某個(gè)master節(jié)點(diǎn)宕機(jī)之后，會(huì)出現(xiàn)什么情況呢？下面我們來(lái)模擬下這個(gè)過(guò)程，看看效果如何

1、使用watch命令監(jiān)控下集群的狀態(tài)

通過(guò)這個(gè)命令可以實(shí)時(shí)查看集群的動(dòng)態(tài)日志變化

watch redis-cli -p 7001 cluster nodes

2、手動(dòng)將7002實(shí)例的master宕機(jī)

redis-cli -p 7002 shutdown

從上面的監(jiān)控日志不難發(fā)現(xiàn)，當(dāng)7002掛掉后，過(guò)了一會(huì)兒與集群以及它的從節(jié)點(diǎn)8003失去了聯(lián)系，然后8003這個(gè)節(jié)點(diǎn)升級(jí)為master節(jié)點(diǎn)；

3、手動(dòng)將7002實(shí)例啟動(dòng)起來(lái)

/usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/7002/redis.conf

再次分析日志，可以看到這時(shí)候7002只能以slave的身份加入了集群，事實(shí)上在某些情況下，我們?nèi)匀幌Ｍ@個(gè)宕機(jī)的節(jié)點(diǎn)恢復(fù)后依然是主節(jié)點(diǎn)，這該怎么辦呢？這就涉及到了手動(dòng)故障轉(zhuǎn)移，主要操作步驟如下：

• 使用redis-cli連接7002節(jié)點(diǎn)；
• 執(zhí)行cluster failover命令；

在上面執(zhí)行之后的情況下，7002是一個(gè)slave節(jié)點(diǎn)

執(zhí)行 CLUSTER FAILOVER 命令，觀察日志動(dòng)態(tài)變化，通過(guò)日志變化，可以看到，命令執(zhí)行完畢后，7002很快就變成了master，而8003成了slave；

通過(guò)以上步驟就完成了redis的cluster模式下的故障轉(zhuǎn)移的過(guò)程

使用redistemplate訪問(wèn)分片集群

1、引入依賴(lài)

<dependency>     <groupId>org.springframework.boot</groupId>     <artifactId>spring-boot-starter-data-redis</artifactId> </dependency>

2、將配置文件中的集群地址修改成下面這樣即可

spring:   redis:     cluster:       nodes:        - 集群IP:7001        - 集群IP:7002        - 集群IP:7003        - 集群IP:7004        - 集群IP:8001        - 集群IP:8002        - 集群IP:8003

至于具體的代碼部分，可以參考下面的這個(gè)測(cè)試案例

	@Autowired     private RedisTemplate<String,String> redisTemplate;      //localhost:8083/set?key=b&value=123     @GetMapping("/set")     public void set(@RequestParam String key,@RequestParam String value){         redisTemplate.opsForValue().set(key,value);     }      //localhost:8083/get?key=b     @GetMapping("/get")     public String get(@RequestParam String key){         return redisTemplate.opsForValue().get(key);     }

推薦學(xué)習(xí)：Redis視頻教程