天天看點

Redis資料庫群集

相信大家通過閱讀博文:非關系型資料庫(NoSQL)——Redis安裝及部署詳解

可以初步的認識Redis資料庫的優勢及其安裝方法,今天我們來認識一下Redis資料庫怎麼橫向擴充,以滿足更大的通路需求。

Redis 3.0版本以上開始支援cluster,采用的是hash slot(hash 槽),可以将多個Redis執行個體整個在一起,形成一個群集,也就是将資料分散到群集的多個機器上。

Redis群集原理

Redis Cluster是一個無中心的結構,每個節點都儲存資料和整個群集的狀态。每個節點都會儲存其他節點的資訊,知道其他節點鎖負責的槽,并且會與其他節點定時發送心跳資訊,能夠及時感覺群集中異常的節點。如圖:

Redis資料庫群集

當用戶端向群集中任一節點發送與資料庫鍵有關的指令是,接受指令的節點會計算出指令要處理的資料庫鍵屬于哪個槽,并檢查這個槽是否指派給了自己。如果鍵所在的槽正好指派給了目前節點,那麼節點直接執行這個指令;如果鍵所在的槽并沒有指派給目前節點,那麼節點會向用戶端傳回一個MOVED錯誤,指引用戶端轉向正确的節點,并再次發送之前想要執行的指令。

群集角色有Master和Slave。Master之間配置設定slots,一共有16384個slot。Slave向它指定的Master同步資料,實作備份。當其中一個Master無法提供服務時,該Master的Slave将提升為Master。以保證群集鍵slot的完整性。當其中的某一個Master和它的Slave都失效,就會導緻slot不完整,群集失效,這是就需要人工參與修複。

群集搭建好後,群集中的每個節點都會定期地想其他節點發送PING消息,如果接收PING消息的節點沒有在規定的時間内傳回PONG消息,那麼發送PING消息的節點就會将其标記為疑似下線(PFAIL)。各個節點會通過互相發送消息的方式來交換群集中各個節點的狀态資訊。如果在一個群集裡,半數以上的主節點都将某個節點 X 報告為疑似下線,那麼這個主節點 X 将被标記為已下線(FAIL),同時會向群集廣播一條關于主節點 X 的FAIL消息,所有收到這條FAIL消息的節點都會立即将主節點 X 标記為已下線。

當需要減少或增加群集中的機器時,我們需要将已經指派給某個節點(源節點)的槽改為指派給另一個節點(目标節點),并且将相關槽所屬的鍵值對從源節點移動到目标節點。

Redis群集的重新分片操作是由Redis的群集管理軟體redis-trib負責執行的,不支援自動的分片,而且需要自己計算從哪些節點上遷移多少Slot。在重新分片的過程中,群集不需要下線,并且源節點和目标節點都可以繼續處理指令請求。

架構細節

1.所有的redis節點彼此互聯,内部使用二進制協定優化傳輸速度和帶寬;

2.節點的失效在群集中超過半數的主節點檢測失效才失效;

3.用戶端與redis節點直連,不需要中間代理層,用戶端不需要連接配接群集所有節點,連接配接群集中任何一個可用節點即可;

4.redis-cluster把所有的實體節點映射到【0-16383】slot上,cluster 負責維護node<->slot<->key;

Redis-cluster選舉:

選舉過程是群集中所有master參與,如果半數以上master節點與目前master節點通信逾時,認為目前master節點挂掉。如圖:

Redis資料庫群集
以下兩種情況出現則為群集不可用:
  • 如果群集任意master挂掉,且目前master沒有slave,則群集進入fail狀态,也可以了解為群集的slot映射【0-16383】不完整時進入的fail狀态;
  • 如果群集中出現半數的master挂掉,無論是否有slave,群集都進入fail狀态;

    當群集不可用時,所有對群集的操作都不可用,收到((error)CLUSTERDOWN The cluster is down)錯誤。

預設情況下,每個群集的節點都使用兩個TCP端口,一個是6379,一個是16379:

  • 6379端口服務于用戶端的連接配接;
  • 16379端口用于群集總線;

    即使用二進制協定的節點到節點通信通道。節點使用群集總線進行故障檢測,配置更新、故障轉移授權等。如果開啟了防火牆,需要開放這個端口(本次博文采用強制關閉防火牆)。

Redis群集部署

了解了Redis群集原理之後,搭建redis群集就變得非常簡單了。本次實驗采用6台伺服器搭建Redis群集,其中3台為master,3台為salve。6台伺服器的IP位址為192.168.1.1/24——192.168.1.6/24,伺服器均為centos 7系統。這裡就不上傳實驗拓補圖了。

Redis群集部署的具體操作步驟主要分為:

1.安裝Redis并修改配置檔案

關于如何搭建Redis伺服器及其軟體包擷取方式均可參考博文:非關系型資料庫(NoSQL)——Redis安裝及部署詳解

按照博文安裝即可,6台伺服器都需安裝Redis,安裝完成之後每台伺服器都需要修改為本機真實的IP位址,取消回環位址(127.0.0.1),具體修改内容如下:

[[email protected] ~]# vim /etc/redis/6379.conf 
bind 192.168.1.1                                     //改為本機的真是IP位址
daemonize yes
logfile /var/log/redis_6379.log
cluster-enabled yes                                //啟用群集
cluster-config-file nodes-6379.conf
cluster-node-timeout 15000
cluster-require-full-coverage no
//關于群集這幾條預設是存在,隻不過注釋了,取消注釋即可!
[[email protected] ~]# /etc/init.d/redis_6379 restart
//重新開機redis服務
Stopping ...
Redis stopped
Starting Redis server...
[[email protected] ~]# netstat -anpt | grep 6379
tcp        0      0 192.168.1.1:6379        0.0.0.0:*               LISTEN      6497/redis-server 1 
tcp        0      0 192.168.1.1:16379       0.0.0.0:*               LISTEN      6497/redis-server 1 
tcp        0      0 127.0.0.1:6379          127.0.0.1:43304         TIME_WAIT   -                   
//6379端口和16379端口都在監聽
           

第一個redis伺服器已經搭建完畢,剩下5個一樣的做法,隻是配置檔案中都是自身的IP位址,别弄混了!

2.使用腳本建立群集

建立群集要用到ruby的一個腳本,在建立群集之前,需要先安裝ruby的運作環境和ruby的Redis用戶端,該操作在其中一台伺服器進行即可。gem指令是提前下載下傳的redis-3.2.0 gem軟體包提供的,直接上傳伺服器即可使用!

gem軟體包網盤連結:https://pan.baidu.com/s/1Fx7YI-ZwZoHOPm13HYeFKw

提取碼:cj0x

[[email protected] ~]# yum -y install ruby rubygems
//安裝ruby的運作環境
[[email protected] ~]# gem install redis --version 3.2.0
Successfully installed redis-3.2.0
Parsing documentation for redis-3.2.0
Installing ri documentation for redis-3.2.0
1 gem installed
//安裝ruby的Redis用戶端工具——gem指令
           

使用腳本建立群集:

[[email protected] ~]# cd /usr/src/redis-3.2.9/src
[[email protected] src]# ./redis-trib.rb create --replicas 1 192.168.1.1:6379 192.168.1.2:6379 192.168.1.3:6379 192.168.1.4:6379 192.168.1.5:6379 192.168.1.6:6379
                   …………                 //省略部分内容
Can I set the above configuration? (type 'yes' to accept): yes
                   …………                 //省略部分内容
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
//建立群集完成
           
[[email protected] src]# ./redis-trib.rb check 192.168.1.1:6379
//檢視群集狀态(可以清楚的看到哪台主機是master、哪台主機時salve)
>>> Performing Cluster Check (using node 192.168.1.1:6379)
M: afb2a0876b9c4c1c19e2bc492e398765bed0a311 192.168.1.1:6379
   slots:0-5460 (5461 slots) master
   1 additional replica(s)
S: 00ed4b0da4f0444c7e2a54a44c2060dd2c51a19a 192.168.1.4:6379
   slots: (0 slots) slave
   replicates afb2a0876b9c4c1c19e2bc492e398765bed0a311
S: 081d87a0d26895605e4c237c5429d3ae6e01f7b2 192.168.1.5:6379
   slots: (0 slots) slave
   replicates 050d71e6ad9bbf0a2a90b743d5a9bb9fb77052bb
S: 00bf8cb3a48a696d9bfc4b124234335633dc14d0 192.168.1.6:6379
   slots: (0 slots) slave
   replicates bec4c3401ced5a43439568f5530d79dd2a911512
M: 050d71e6ad9bbf0a2a90b743d5a9bb9fb77052bb 192.168.1.2:6379
   slots:5461-10922 (5462 slots) master
   1 additional replica(s)
M: bec4c3401ced5a43439568f5530d79dd2a911512 192.168.1.3:6379
   slots:10923-16383 (5461 slots) master
   1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
           

3.測試群集

登入群集,設定鍵值測試,需要用到“-c”參數來激活群集,具體操作如下:

[[email protected] ~]# redis-cli -h 192.168.1.1 -p 6379 -c
192.168.1.1:6379> set k1 1
-> Redirected to slot [12706] located at 192.168.1.3:6379
OK
192.168.1.3:6379> get k1
"1"
           

資料自動同步其redis伺服器上,檢視效果:

[[email protected] ~]# redis-cli -h 192.168.1.5 -p 6379 -c
192.168.1.5:6379> get k1
-> Redirected to slot [12706] located at 192.168.1.3:6379
"1"
//提示是從192.168.1.3伺服器上同步過來的
           

實驗完成!!!

———————— 本文至此結束,感謝閱讀 ————————