背景:
Redis-Sentinel是Redis官方推薦的高可用性(HA)解決方案,當用Redis做Master-slave的高可用方案時,假如master當機了,Redis本身(包括它的很多用戶端)都沒有實作自動進行主備切換,而Redis-sentinel本身也是一個獨立運作的程序,它能監控多個master-slave叢集,發現master當機後能進行自動切換,更多的資訊見前一篇說明。它的主要功能有以下幾點:
1,不時地監控redis是否按照預期良好地運作;
2,如果發現某個redis節點運作出現狀況,能夠通知另外一個程序(例如它的用戶端);
3,能夠進行自動切換。當一個master節點不可用時,能夠選舉出master的多個slave(如果有超過一個slave的話)中的一個來作為新的master,其它的slave節點會将它所追随的master的位址改為被提升為master的slave的新位址。
Redis-Replication
1)搭建
複制的配置很簡單,就一個參數:
slaveof <主資料庫IP> <端口>
可以添加在配置檔案裡,也可以在指令行中執行。如主資料庫IP是192.168.200.25 端口是6379:(配置多台從資料庫的方法也一樣)
slaveof 192.168.200.25 6379
注意:通過指令行進行的複制,在主從斷開或則主從重新開機之後複制資訊會丢失,即不能保證持久複制,需要再次執行slaveof。但是在配置檔案裡寫死slaveof不會有該問題。預設情況下從庫是隻讀的,不能進行修改,需要修改需要設定配置檔案中的slave-read-only為no。在指令行裡執行slaveof no one可以讓一個從庫變成主庫。
2)原理(執行步驟)
①從資料庫向主資料庫發送sync指令。
②主資料庫接收sync指令後,執行BGSAVE指令(儲存快照),建立一個RDB檔案,在建立RDB檔案期間的指令将儲存在緩沖區中。
③當主資料庫執行完BGSAVE時,會向從資料庫發送RDB檔案,而從資料庫會接收并載入該檔案。
④主資料庫将緩沖區的所有寫指令發給從伺服器執行。
⑤以上處理完之後,之後主資料庫每執行一個寫指令,都會将被執行的寫指令發送給從資料庫。
注意:在Redis2.8之前,主從斷線或則重新開機之後再重連接配接,都需要做一次完整的sync操作(5步驟),即使斷線期間隻有幾條的更新操作或則是沒有操作,導緻系統資源極度浪費。Redis2.8之後,會用一個psync來替換sync,不會進行完成的sync操作,隻需要同步斷線期間的記錄。相關參數:repl-backlog-size、repl-backlog-ttl
大緻的示意圖如下:
![](https://img.laitimes.com/img/9ZDMuAjOiMmIsIjOiQnIsIyZuBnL2gzN2ADO3MDOtEzNzQjM3EjNxgDM2AjNxAjMtQDOwMjNx8CX2AjNxAjMvwFN4AzM2EzLcd2bsJ2Lc12bj5ycn9Gbi52YuUTMwIzcldWYtl2Lc9CX6MHc0RHaiojIsJye.png)
3)相關的參數,注釋掉的參數都是使用預設值。
################################# REPLICATION #################################
#複制選項,slave複制對應的master。
# slaveof <masterip> <masterport>
#如果master設定了requirepass,那麼slave要連上master,需要有master的密碼才行。masterauth就是用來配置master的密碼,這樣可以在連上master後進行認證。
# masterauth <master-password>
#當從庫同主機失去連接配接或者複制正在進行,從機庫有兩種運作方式:1) 如果slave-serve-stale-data設定為yes(預設設定),從庫會繼續響應用戶端的請求。2) 如果slave-serve-stale-data設定為no,除去INFO和SLAVOF指令之外的任何請求都會傳回一個錯誤”SYNC with master in progress”。
slave-serve-stale-data yes
#作為從伺服器,預設情況下是隻讀的(yes),可以修改成NO,用于寫(不建議)。
slave-read-only yes
#是否使用socket方式複制資料。目前redis複制提供兩種方式,disk和socket。如果新的slave連上來或者重連的slave無法部分同步,就會執行全量同步,master會生成rdb檔案。有2種方式:disk方式是master建立一個新的程序把rdb檔案儲存到磁盤,再把磁盤上的rdb檔案傳遞給slave。socket是master建立一個新的程序,直接把rdb檔案以socket的方式發給slave。disk方式的時候,當一個rdb儲存的過程中,多個slave都能共享這個rdb檔案。socket的方式就的一個個slave順序複制。在磁盤速度緩慢,網速快的情況下推薦用socket方式。
repl-diskless-sync no
#diskless複制的延遲時間,防止設定為0。一旦複制開始,節點不會再接收新slave的複制請求直到下一個rdb傳輸。是以最好等待一段時間,等更多的slave連上來。
repl-diskless-sync-delay 5
#slave根據指定的時間間隔向伺服器發送ping請求。時間間隔可以通過 repl_ping_slave_period 來設定,預設10秒。
# repl-ping-slave-period 10
#複制連接配接逾時時間。master和slave都有逾時時間的設定。master檢測到slave上次發送的時間超過repl-timeout,即認為slave離線,清除該slave資訊。slave檢測到上次和master互動的時間超過repl-timeout,則認為master離線。需要注意的是repl-timeout需要設定一個比repl-ping-slave-period更大的值,不然會經常檢測到逾時。
# repl-timeout 60
#是否禁止複制tcp連結的tcp nodelay參數,可傳遞yes或者no。預設是no,即使用tcp nodelay。如果master設定了yes來禁止tcp nodelay設定,在把資料複制給slave的時候,會減少包的數量和更小的網絡帶寬。但是這也可能帶來資料的延遲。預設我們推薦更小的延遲,但是在資料量傳輸很大的場景下,建議選擇yes。
repl-disable-tcp-nodelay no
#複制緩沖區大小,這是一個環形複制緩沖區,用來儲存最新複制的指令。這樣在slave離線的時候,不需要完全複制master的資料,如果可以執行部分同步,隻需要把緩沖區的部分資料複制給slave,就能恢複正常複制狀态。緩沖區的大小越大,slave離線的時間可以更長,複制緩沖區隻有在有slave連接配接的時候才配置設定記憶體。沒有slave的一段時間,記憶體會被釋放出來,預設1m。
# repl-backlog-size 5mb
#master沒有slave一段時間會釋放複制緩沖區的記憶體,repl-backlog-ttl用來設定該時間長度。機關為秒。
# repl-backlog-ttl 3600
#當master不可用,Sentinel會根據slave的優先級選舉一個master。最低的優先級的slave,當選master。而配置成0,永遠不會被選舉。
slave-priority 100
#redis提供了可以讓master停止寫入的方式,如果配置了min-slaves-to-write,健康的slave的個數小于N,mater就禁止寫入。master最少得有多少個健康的slave存活才能執行寫指令。這個配置雖然不能保證N個slave都一定能接收到master的寫操作,但是能避免沒有足夠健康的slave的時候,master不能寫入來避免資料丢失。設定為0是關閉該功能。
# min-slaves-to-write 3
#延遲小于min-slaves-max-lag秒的slave才認為是健康的slave。
# min-slaves-max-lag 10
4)總結
Redis目前的複制是異步的,隻保證最終一緻性,而不是強一緻性(主從資料庫的更新還是分先後,先主後從)。要是一緻性要求高的應用,目前還是讀寫都在主庫上去。
Redis-Sentinel:需要對redis和sentinel的配置檔案有rewrite的權限。
1)搭建:(環境:redis服務3個執行個體10086、10087、10088;sentinel服務3個監控:20086、20087、20088)
sentinel是一個"螢幕",根據被監視執行個體的身份和狀态來判斷該執行何種操作。通過給定的配置檔案來發現主伺服器的,再通過向主伺服器發送的info資訊來發現該主伺服器的從伺服器。Sentinel 實際上就是一個運作在 Sentienl 模式下的 Redis 伺服器,是以我們同樣可以使用以下指令來啟動一個 Sentinel執行個體。運作方式如下:
redis-sentinel /path/to/sentinel.conf
參數配置檔案:
port 20086 #預設端口26379
dir "/tmp"
logfile "/var/log/redis/sentinel_20086.log"
daemonize yes
#格式:sentinel <option_name> <master_name> <option_value>;#該行的意思是:監控的master的名字叫做T1(自定義),位址為127.0.0.1:10086,行尾最後的一個2代表在sentinel叢集中,多少個sentinel認為masters死了,才能真正認為該master不可用了。
sentinel monitor T1 127.0.0.1 10086 2
#sentinel會向master發送心跳PING來确認master是否存活,如果master在“一定時間範圍”内不回應PONG 或者是回複了一個錯誤消息,那麼這個sentinel會主觀地(單方面地)認為這個master已經不可用了(subjectively down, 也簡稱為SDOWN)。而這個down-after-milliseconds就是用來指定這個“一定時間範圍”的,機關是毫秒,預設30秒。
sentinel down-after-milliseconds T1 15000
#failover過期時間,當failover開始後,在此時間内仍然沒有觸發任何failover操作,目前sentinel将會認為此次failoer失敗。預設180秒,即3分鐘。
sentinel failover-timeout T1 120000
#在發生failover主備切換時,這個選項指定了最多可以有多少個slave同時對新的master進行同步,這個數字越小,完成failover所需的時間就越長,但是如果這個數字越大,就意味着越多的slave因為replication而不可用。可以通過将這個值設為 1 來保證每次隻有一個slave處于不能處理指令請求的狀态。
sentinel parallel-syncs T1 1
#sentinel 連接配接設定了密碼的主和從
#sentinel auth-pass <master_name> xxxxx
#發生切換之後執行的一個自定義腳本:如發郵件、vip切換等
##sentinel notification-script <master-name> <script-path> ##不會執行,疑問?
#sentinel client-reconfig-script <master-name> <script-path> ##這個會執行
注意:要是參數配置的是預設值,在sentinel運作時該參數會在配置檔案檔案裡被删除掉,直接不顯示。也可以在運作時用指令
SENTINEL SET command
動态修改,後面說明。
很顯然,隻使用單個sentinel程序來監控redis叢集是不可靠的,當sentinel程序宕掉後(sentinel本身也有單點問題,single-point-of-failure)整個叢集系統将無法按照預期的方式運作。是以有必要将sentinel叢集,這樣有幾個好處:
1:即使有一些sentinel程序宕掉了,依然可以進行redis叢集的主備切換;
2:如果隻有一個sentinel程序,如果這個程序運作出錯,或者是網絡堵塞,那麼将無法實作redis叢集的主備切換(單點問題);
3:如果有多個sentinel,redis的用戶端可以随意地連接配接任意一個sentinel來獲得關于redis叢集中的資訊。
本文開啟sentinel叢集用了3個執行個體,保證各個端口和目錄不一緻,配置檔案如下:
sentinel_20086.conf :
port 20086
dir "/var/lib/sentinel_20086"
logfile "/var/log/redis/sentinel_20086.log"
daemonize yes
sentinel monitor T1 127.0.0.1 10086 2
sentinel down-after-milliseconds T1 15000
sentinel failover-timeout T1 120000
sentinel parallel-syncs T1 1
#發生切換之後執行的一個自定義腳本:如發郵件、vip切換等
#sentinel notification-script <master-name> <script-path>
View Code
sentinel_20087.conf :
port 20087
dir "/var/lib/sentinel_20087"
logfile "/var/log/redis/sentinel_20087.log"
daemonize yes
sentinel monitor T1 127.0.0.1 10086 2
sentinel down-after-milliseconds T1 15000
sentinel failover-timeout T1 120000
sentinel parallel-syncs T1 1
#發生切換之後執行的一個自定義腳本:如發郵件、vip切換等
#sentinel notification-script <master-name> <script-path>
sentinel_20088.conf :
port 20088
dir "/var/lib/sentinel_20086"
logfile "/var/log/redis/sentinel_20088.log"
daemonize yes
sentinel monitor T1 127.0.0.1 10086 2
sentinel down-after-milliseconds T1 15000
sentinel failover-timeout T1 120000
sentinel parallel-syncs T1 1
#發生切換之後執行的一個自定義腳本:如發郵件、vip切換等
#sentinel notification-script <master-name> <script-path>
疑問:這裡的參數 sentinel notification-script <master-name> <script-path>好像切換的時候不會執行,參數sentinel client-reconfig-script <master-name> <script-path>倒是會執行,可以用這個參數來替換上面的參數。
啟動sentinel:
root@zhoujinyi:/etc/redis# redis-sentinel /etc/redis/sentinel_20086.conf
root@zhoujinyi:/etc/redis# redis-sentinel /etc/redis/sentinel_20087.conf
root@zhoujinyi:/etc/redis# redis-sentinel /etc/redis/sentinel_20088.conf
注意:當一個master配置為需要密碼才能連接配接時,用戶端和slave在連接配接時都需要提供密碼。master通過requirepass設定自身的密碼,不提供密碼無法連接配接到這個master。slave通過masterauth來設定通路master時的密碼。用戶端需要auth提供密碼,但是當使用了sentinel時,由于一個master可能會變成一個slave,一個slave也可能會變成master,是以需要同時設定上述兩個配置項,并且sentinel需要連接配接master和slave,需要設定參數:sentinel auth-pass <master_name> xxxxx。
啟動後各個sentinel的日志資訊如下:
3462:X 08 Jun 18:07:54.820 # Sentinel runid is b44bb512b3b756c97f48aff1dc37b54a30659ee9
3462:X 08 Jun 18:07:54.820 # +monitor master T1 127.0.0.1 10086 quorum 2 #主加入監控
3462:X 08 Jun 18:07:54.823 * +slave slave 127.0.0.1:10087 127.0.0.1 10087 @ T1 127.0.0.1 10086 #檢測到一個slave并添加進slave清單
3462:X 08 Jun 18:07:54.823 * +slave slave 127.0.0.1:10088 127.0.0.1 10088 @ T1 127.0.0.1 10086 #檢測到一個slave并添加進slave清單
3462:X 08 Jun 18:07:59.515 * +sentinel sentinel 127.0.0.1:20087 127.0.0.1 20087 @ T1 127.0.0.1 10086 #增加了一個sentinel
3462:X 08 Jun 18:08:01.820 * +sentinel sentinel 127.0.0.1:20088 127.0.0.1 20088 @ T1 127.0.0.1 10086 #增加了一個sentinel
關于更多的資訊見:
+reset-master <instance details> -- 當master被重置時.
+slave <instance details> -- 當檢測到一個slave并添加進slave清單時.
+failover-state-reconf-slaves <instance details> -- Failover狀态變為reconf-slaves狀态時
+failover-detected <instance details> -- 當failover發生時
+slave-reconf-sent <instance details> -- sentinel發送SLAVEOF指令把它重新配置時
+slave-reconf-inprog <instance details> -- slave被重新配置為另外一個master的slave,但資料複制還未發生時。
+slave-reconf-done <instance details> -- slave被重新配置為另外一個master的slave并且資料複制已經與master同步時。
-dup-sentinel <instance details> -- 删除指定master上的備援sentinel時 (當一個sentinel重新啟動時,可能會發生這個事件).
+sentinel <instance details> -- 當master增加了一個sentinel時。
+sdown <instance details> -- 進入SDOWN狀态時;
-sdown <instance details> -- 離開SDOWN狀态時。
+odown <instance details> -- 進入ODOWN狀态時。
-odown <instance details> -- 離開ODOWN狀态時。
+new-epoch <instance details> -- 目前配置版本被更新時。
+try-failover <instance details> -- 達到failover條件,正等待其他sentinel的選舉。
+elected-leader <instance details> -- 被選舉為去執行failover的時候。
+failover-state-select-slave <instance details> -- 開始要選擇一個slave當選新master時。
no-good-slave <instance details> -- 沒有合适的slave來擔當新master
selected-slave <instance details> -- 找到了一個适合的slave來擔當新master
failover-state-send-slaveof-noone <instance details> -- 當把選擇為新master的slave的身份進行切換的時候。
failover-end-for-timeout <instance details> -- failover由于逾時而失敗時。
failover-end <instance details> -- failover成功完成時。
switch-master <master name> <oldip> <oldport> <newip> <newport> -- 當master的位址發生變化時。通常這是用戶端最感興趣的消息了。
+tilt -- 進入Tilt模式。
-tilt -- 退出Tilt模式。
2)原理
①sentinel叢集通過給定的配置檔案發現master,啟動時會監控master。通過向master發送info資訊獲得該伺服器下面的所有從伺服器。
②sentinel叢集通過指令連接配接向被監視的主從伺服器發送hello資訊(每秒一次),該資訊包括sentinel本身的ip、端口、id等内容,以此來向其他sentinel宣告自己的存在。
③sentinel叢集通過訂閱連接配接接收其他sentinel發送的hello資訊,以此來發現監視同一個主伺服器的其他sentinel;叢集之間會互相建立指令連接配接用于通信,因為已經有主從伺服器作為發送和接收hello資訊的中介,sentinel之間不會建立訂閱連接配接。
④sentinel叢集使用ping指令來檢測執行個體的狀态,如果在指定的時間内(down-after-milliseconds)沒有回複或則傳回錯誤的回複,那麼該執行個體被判為下線。
⑤當failover主備切換被觸發後,failover并不會馬上進行,還需要sentinel中的大多數sentinel授權後才可以進行failover,即進行failover的sentinel會去獲得指定quorum個的sentinel的授權,成功後進入ODOWN狀态。如在5個sentinel中配置了2個quorum,等到2個sentinel認為master死了就執行failover。
⑥sentinel向選為master的slave發送
SLAVEOF NO ONE
指令,選擇slave的條件是sentinel首先會根據slaves的優先級來進行排序,優先級越小排名越靠前。如果優先級相同,則檢視複制的下标,哪個從master接收的複制資料多,哪個就靠前。如果優先級和下标都相同,就選擇程序ID較小的。
⑦sentinel被授權後,它将會獲得宕掉的master的一份最新配置版本号(config-epoch),當failover執行結束以後,這個版本号将會被用于最新的配置,通過廣播形式通知其它sentinel,其它的sentinel則更新對應master的配置。
①到③是自動發現機制:
- 以10秒一次的頻率,向被監視的master發送info指令,根據回複擷取master目前資訊。
- 以1秒一次的頻率,向所有redis伺服器、包含sentinel在内發送PING指令,通過回複判斷伺服器是否線上。
- 以2秒一次的頻率,通過向所有被監視的master,slave伺服器發送目前sentinel,master資訊的消息。
④是檢測機制,⑤和⑥是failover機制,⑦是更新配置機制。
注意:因為redis采用的是異步複制,沒有辦法避免資料的丢失。但可以通過以下配置來使得資料不會丢失:min-slaves-to-write 1 、 min-slaves-max-lag 10。一個redis無論是master還是slave,都必須在配置中指定一個slave優先級。要注意到master也是有可能通過failover變成slave的。如果一個redis的slave優先級配置為0,那麼它将永遠不會被選為master,但是它依然會從master哪裡複制資料。
上面大緻講解了sentinel的運作機制,更多詳細說明資訊見上一篇文章。
3)運作測試
上面已經搭好了一個簡單的測試環境:redis服務3個執行個體10086(M)、10087(S)、10088(S);sentinel服務3個監控:20086、20087、20088
現在進行一個故障轉移的操作:0點30分14秒kill掉10086,Sentinel日志資訊:
3466:X 09 Jun 00:30:29.067 # +sdown master T1 127.0.0.1 10086 ##進入主觀不可用(SDOWN)
3466:X 09 Jun 00:30:29.169 # +odown master T1 127.0.0.1 10086 #quorum 2/2 ##投票好了,達到了quorum,進入客觀不可用(ODOWN)
3466:X 09 Jun 00:30:29.169 # +new-epoch 1 ##目前配置版本被更新
3466:X 09 Jun 00:30:29.169 # +try-failover master T1 127.0.0.1 10086 ##達到failover條件,正等待其他sentinel的選舉
3466:X 09 Jun 00:30:29.179 # +vote-for-leader e106f1eaffdaa10babef3f5858a7cb8d05ffe9ea 1 ##選舉
3466:X 09 Jun 00:30:29.183 # 127.0.0.1:20088 voted for e106f1eaffdaa10babef3f5858a7cb8d05ffe9ea 1 ##選舉
3466:X 09 Jun 00:30:29.184 # 127.0.0.1:20086 voted for e106f1eaffdaa10babef3f5858a7cb8d05ffe9ea 1 ##選舉
3466:X 09 Jun 00:30:29.241 # +elected-leader master T1 127.0.0.1 10086 ##執行failover
3466:X 09 Jun 00:30:29.242 # +failover-state-select-slave master T1 127.0.0.1 10086 ##開始要選擇一個slave當選新master
3466:X 09 Jun 00:30:29.344 # +selected-slave slave 127.0.0.1:10088 127.0.0.1 10088 @ T1 127.0.0.1 10086 ##找到了一個适合的slave來擔當新master
3466:X 09 Jun 00:30:29.344 * +failover-state-send-slaveof-noone slave 127.0.0.1:10088 127.0.0.1 10088 @ T1 127.0.0.1 10086 ##當把選擇為新master的slave的身份進行切換
3466:X 09 Jun 00:30:29.447 * +failover-state-wait-promotion slave 127.0.0.1:10088 127.0.0.1 10088 @ T1 127.0.0.1 10086
3466:X 09 Jun 00:30:30.206 # +promoted-slave slave 127.0.0.1:10088 127.0.0.1 10088 @ T1 127.0.0.1 10086
3466:X 09 Jun 00:30:30.207 # +failover-state-reconf-slaves master T1 127.0.0.1 10086 ##Failover狀态變為reconf-slaves
3466:X 09 Jun 00:30:30.273 * +slave-reconf-sent slave 127.0.0.1:10087 127.0.0.1 10087 @ T1 127.0.0.1 10086 ##sentinel發送SLAVEOF指令把它重新配置,重新配置到新主
3466:X 09 Jun 00:30:31.250 * +slave-reconf-inprog slave 127.0.0.1:10087 127.0.0.1 10087 @ T1 127.0.0.1 10086 ##slave被重新配置為另外一個master的slave,但資料複制還未發生
3466:X 09 Jun 00:30:31.251 * +slave-reconf-done slave 127.0.0.1:10087 127.0.0.1 10087 @ T1 127.0.0.1 10086 ##slave被重新配置為另外一個master的slave并且資料複制已經與master同步
3466:X 09 Jun 00:30:31.340 # -odown master T1 127.0.0.1 10086 ##離開客觀不可用(ODOWN)
3466:X 09 Jun 00:30:31.340 # +failover-end master T1 127.0.0.1 10086 ##failover成功完成
3466:X 09 Jun 00:30:31.341 # +switch-master T1 127.0.0.1 10086 127.0.0.1 10088 ##master的位址發生變化
3466:X 09 Jun 00:30:31.341 * +slave slave 127.0.0.1:10087 127.0.0.1 10087 @ T1 127.0.0.1 10088 ##檢測到一個slave并添加進slave清單
3466:X 09 Jun 00:30:31.351 * +slave slave 127.0.0.1:10086 127.0.0.1 10086 @ T1 127.0.0.1 10088
3466:X 09 Jun 00:30:46.362 # +sdown slave 127.0.0.1:10086 127.0.0.1 10086 @ T1 127.0.0.1 10088 ##原主進入主觀不可用狀态
通過日志資訊看到,15秒(down-after-milliseconds)之後進行了failvoer操作,最後操作成功,10088變成了新主,可以通過info sentinel和sentinel maters檢視主的資訊。把原主開起來,日志資訊:
3466:X 09 Jun 01:00:35.306 # -sdown slave 127.0.0.1:10086 127.0.0.1 10086 @ T1 127.0.0.1 10088 ##離開主觀不可用狀态
3466:X 09 Jun 01:00:45.249 * +convert-to-slave slave 127.0.0.1:10086 127.0.0.1 10086 @ T1 127.0.0.1 10088 ## 檢測到一個slave并添加進slave清單
通過日志看到,原主起來之後變成了從。這裡可以發現在redis配置檔案(可寫權限)的最後被添加了:
# Generated by CONFIG REWRITE
slaveof 127.0.0.1 10088
在新主上操作,可以同步複制到從庫:
root@zhoujinyi:~# redis-cli -p 10088
127.0.0.1:10088> set dxy dxy
OK
127.0.0.1:10088> get dxy
"dxy"
127.0.0.1:10088>
root@zhoujinyi:~# redis-cli -p 10086
127.0.0.1:10086> get dxy
"dxy"
127.0.0.1:10086>
root@zhoujinyi:~# redis-cli -p 10087
127.0.0.1:10087> get dxy
"dxy"
上面測試說明sentinel自動failover成功。要是kill掉一個sentinel執行個體會怎麼樣?可以看日志:
3466:X 09 Jun 01:14:51.039 # +sdown sentinel 127.0.0.1:20088 127.0.0.1 20088 @ T1 127.0.0.1 10087 ##進入主觀不可用
3466:X 09 Jun 01:15:32.610 # -sdown sentinel 127.0.0.1:20088 127.0.0.1 20088 @ T1 127.0.0.1 10087 ##進入客觀不可用
3466:X 09 Jun 01:15:34.497 * -dup-sentinel master T1 127.0.0.1 10087 #duplicate of 127.0.0.1:20088 or a79f189986ab9d3940de48099e18a99abef4d595 ##删除指定master上的備援sentinel時 (當一個sentinel重新啟動時,可能會發生這個事件)
3466:X 09 Jun 01:15:34.498 * +sentinel sentinel 127.0.0.1:20088 127.0.0.1 20088 @ T1 127.0.0.1 10087 ##檢測到一個sentinel,并進入清單
說明sentinel執行個體也被其他sentinel監視(上面介紹了各個sentinel互相通信),防止sentinel單點故障。通過日志看到這麼多資訊,這裡需要注意下下面的概念:
① Leader選舉:
其實在sentinels故障轉移中,仍然需要一個“Leader”來排程整個過程:master的選舉以及slave的重配置和同步。當叢集中有多個sentinel執行個體時,如何選舉其中一個sentinel為leader呢?
在配置檔案中“can-failover”“quorum”參數,以及“is-master-down-by-addr”指令配合來完成整個過程。
A) “can-failover”用來表明目前sentinel是否可以參與“failover”過程,如果為“YES”則表明它将有能力參與“Leader”的選舉,否則它将作為“Observer”,observer參與leader選舉投票但不能被選舉;
B) “quorum”不僅用來控制master ODOWN狀态确認,同時還用來選舉leader時最小“贊同票”數;
C) “is-master-down-by-addr”,在上文中以及提到,它可以用來檢測“ip + port”的master是否已經處于SDOWN狀态,不過此指令不僅能夠獲得master是否處于SDOWN,同時它還額外的傳回目前sentinel本地“投票選舉”的Leader資訊(runid);
每個sentinel執行個體都持有其他的sentinels資訊,在Leader選舉過程中(當為leader的sentinel執行個體失效時,有可能master server并沒失效,注意分開了解),sentinel執行個體将從所有的sentinels集合中去除“can-failover = no”和狀态為SDOWN的sentinels,在剩餘的sentinels清單中按照runid按照“字典”順序排序後,取出runid最小的sentinel執行個體,并将它“投票選舉”為Leader,并在其他sentinel發送的“is-master-down-by-addr”指令時将推選的runid追加到響應中。每個sentinel執行個體都會檢測“is-master-down-by-addr”的響應結果,如果“投票選舉”的leader為自己,且狀态正常的sentinels執行個體中,“贊同者”的自己的sentinel個數不小于(>=) 50% + 1,且不小與<quorum>,那麼此sentinel就會認為選舉成功且leader為自己。
在sentinel.conf檔案中,我們期望有足夠多的sentinel執行個體配置“can-failover yes”,這樣能夠確定當leader失效時,能夠選舉某個sentinel為leader,以便進行failover。如果leader無法産生,比如較少的sentinels執行個體有效,那麼failover過程将無法繼續。
② failover過程:
在Leader觸發failover之前,首先wait數秒(随即0~5),以便讓其他sentinel執行個體準備和調整(有可能多個leader??),如果一切正常,那麼leader就需要開始将一個salve提升為master,此slave必須為狀态良好(不能處于SDOWN/ODOWN狀态)且權重值最低(redis.conf中)的,當master身份被确認後,開始failover
A)“+failover-triggered”: Leader開始進行failover,此後緊跟着“+failover-state-wait-start”,wait數秒。
B)“+failover-state-select-slave”: Leader開始查找合适的slave
C)“+selected-slave”: 已經找到合适的slave
D) “+failover-state-sen-slaveof-noone”: Leader向slave發送“slaveof no one”指令,此時slave已經完成角色轉換,此slave即為master
E) “+failover-state-wait-promotition”: 等待其他sentinel确認slave
F)“+promoted-slave”:确認成功
G)“+failover-state-reconf-slaves”: 開始對slaves進行reconfig操作。
H)“+slave-reconf-sent”:向指定的slave發送“slaveof”指令,告知此slave跟随新的master
I)“+slave-reconf-inprog”: 此slave正在執行slaveof + SYNC過程,如過slave收到“+slave-reconf-sent”之後将會執行slaveof操作。
J)“+slave-reconf-done”: 此slave同步完成,此後leader可以繼續下一個slave的reconfig操作。循環G)
K)“+failover-end”: 故障轉移結束
L)“+switch-master”:故障轉移成功後,各個sentinel執行個體開始監控新的master。
4)指令檢視、修改
檢視:
①:info指令
127.0.0.1:20086> info
# Server
redis_version:3.0.0 #版本号
redis_git_sha1:00000000
redis_git_dirty:0
redis_build_id:e7768317ba5bdca5
redis_mode:sentinel #開啟模式
os:Linux 3.16.0-71-generic x86_64 #系統位數
arch_bits:64
multiplexing_api:epoll
gcc_version:4.8.2
process_id:2767 #線程ID
run_id:319d8c58b9bf26c26ca040b53bdc0764a543648b
tcp_port:20086 #端口
uptime_in_seconds:923 #允許時間
uptime_in_days:0
hz:11
lru_clock:6041117
config_file:/etc/redis/sentinel_20086.conf #配置檔案
# Sentinel
sentinel_masters:1
sentinel_tilt:0
sentinel_running_scripts:0
sentinel_scripts_queue_length:0
master0:name=T1,status=ok,address=127.0.0.1:10087,slaves=2,sentinels=3 #主name,主ip,多少個slave,多少個sentinel
也可以單個顯示:info server、info sentinel。
②:sentinel masters,顯示被監控的所有master以及它們的狀态。要是有多個master就顯示多個(複用,監控多個redis,即一個配置檔案寫多個),例子就1個master
127.0.0.1:20086> SENTINEL masters
1) 1) "name" #master name
2) "T1"
3) "ip" #master ip
4) "127.0.0.1"
5) "port" #master port
6) "10087"
7) "runid"
8) "508e7de9f5aa4fdb70126d62a54392fbefc0b11b"
9) "flags"
10) "master"
11) "pending-commands"
12) "0"
13) "last-ping-sent"
14) "0"
15) "last-ok-ping-reply"
16) "261"
17) "last-ping-reply"
18) "261"
19) "down-after-milliseconds" #ping的響應時間
20) "15000"
21) "info-refresh"
22) "620"
23) "role-reported"
24) "master"
25) "role-reported-time"
26) "1205058"
27) "config-epoch" #配置檔案版本号
28) "2"
29) "num-slaves" #從的數量
30) "2"
31) "num-other-sentinels" #除本身外還有多少個sentinel
32) "2"
33) "quorum" #投票數量
34) "2"
35) "failover-timeout" #failover逾時時間
36) "120000"
37) "parallel-syncs" #多少個從同步
38) "1"
③:sentinel master <master_name>,顯示指定master的資訊和狀态。
127.0.0.1:20086> sentinel master T1
1) "name"
2) "T1"
3) "ip"
4) "127.0.0.1"
5) "port"
6) "10087"
7) "runid"
8) "508e7de9f5aa4fdb70126d62a54392fbefc0b11b"
9) "flags"
10) "master"
11) "pending-commands"
12) "0"
13) "last-ping-sent"
14) "0"
15) "last-ok-ping-reply"
16) "909"
17) "last-ping-reply"
18) "909"
19) "down-after-milliseconds"
20) "15000"
21) "info-refresh"
22) "5820"
23) "role-reported"
24) "master"
25) "role-reported-time"
26) "1501345"
27) "config-epoch"
28) "2"
29) "num-slaves"
30) "2"
31) "num-other-sentinels"
32) "2"
33) "quorum"
34) "2"
35) "failover-timeout"
36) "120000"
37) "parallel-syncs"
38) "1"
④:sentinel slaves <master_name>,顯示指定master的所有slave以及它們的狀态。
127.0.0.1:20086> sentinel slaves T1
1) 1) "name"
2) "127.0.0.1:10088"
3) "ip"
4) "127.0.0.1"
5) "port"
6) "10088"
7) "runid"
8) "380a4d9e32aefd3a00c7a64ba8bce451643044f1"
9) "flags"
10) "slave"
11) "pending-commands"
12) "0"
13) "last-ping-sent"
14) "0"
15) "last-ok-ping-reply"
16) "15"
17) "last-ping-reply"
18) "15"
19) "down-after-milliseconds"
20) "15000"
21) "info-refresh"
22) "7558"
23) "role-reported"
24) "slave"
25) "role-reported-time"
26) "1934978"
27) "master-link-down-time"
28) "0"
29) "master-link-status"
30) "ok"
31) "master-host"
32) "127.0.0.1"
33) "master-port"
34) "10087"
35) "slave-priority"
36) "100"
37) "slave-repl-offset"
38) "361068"
2) 1) "name"
2) "127.0.0.1:10086"
3) "ip"
4) "127.0.0.1"
5) "port"
6) "10086"
7) "runid"
8) "9babf78ee2b420d2671b12f93b68c4d19a5edf08"
9) "flags"
10) "slave"
11) "pending-commands"
12) "0"
13) "last-ping-sent"
14) "0"
15) "last-ok-ping-reply"
16) "15"
17) "last-ping-reply"
18) "15"
19) "down-after-milliseconds"
20) "15000"
21) "info-refresh"
22) "7558"
23) "role-reported"
24) "slave"
25) "role-reported-time"
26) "1934978"
27) "master-link-down-time"
28) "0"
29) "master-link-status"
30) "ok"
31) "master-host"
32) "127.0.0.1"
33) "master-port"
34) "10087"
35) "slave-priority"
36) "100"
37) "slave-repl-offset"
38) "361068"
⑤:
sentinel get-master-addr-by-name <master_name>,
傳回指定master的ip和端口,如果正在進行failover或者failover已經完成,将會顯示被提升為master的slave的ip和端口。
27.0.0.1:20086> sentinel get-master-addr-by-name T1
1) "127.0.0.1"
2) "10087"
⑥:sentinel reset <pattern>:重置名字比對該正規表達式的所有的master的狀态資訊,清除其之前的狀态資訊,以及slaves資訊。比如删除一個slave或則sentinel時候,先關閉停止想要删除的程序,再執行:
sentinel reset *
⑦:
sentinel failover <master_name>
強制sentinel執行failover,并且不需要得到其他sentinel的同意。但是failover後會将最新的配置發送給其他sentinel。
127.0.0.1:20086> sentinel failover T1
OK
127.0.0.1:20086> sentinel get-master-addr-by-name T1
1) "127.0.0.1"
2) "10088" #主被切換了
⑧:檢視其他sentinel資訊
sentinel sentinels T1
⑨:檢查sentinel監控是否正确
sentinel ckquorum T1
⑩:配置檔案丢失,重寫配置檔案
sentinel flushconfig
修改:包括參數
①:sentinel monitor <master_mname> <ip> <port> <quorum> ,監控一個新的redis master(這時通過sentinel masters可以看到多個)
127.0.0.1:20086> SENTINEL MONITOR T2 127.0.0.1 10089 2
OK
②:sentinel
remove <master_name>
指令sentinel放棄對某個master的監聽。删掉上一個加的:
127.0.0.1:20086> sentinel remove T2
OK
③:
sentinel set <master_name> <option> <value>
這個指令很像Redis的
CONFIG SET
指令,用來改變指定master的配置。支援多個<option><value>。
127.0.0.1:20086> sentinel masters
1) ...
37) "parallel-syncs"
38) "1"
127.0.0.1:20086> sentinel set T1 parallel-syncs 2 #格式
OK
127.0.0.1:20086> sentinel masters
1) ...
37) "parallel-syncs"
38) "2"
注意:隻要是配置檔案中存在的配置項,都可以用
SENTINEL SET
指令來設定。這個還可以用來設定master的屬性,比如說quorum(票數),而不需要先删除master,再重新添加master。
5) 增加或删除Sentinel
增加一個sentinel很簡單,直接配置好參數開啟一個sentinel即可。添加時最好一個接着一個添加,這樣可以預防網絡隔離帶來的問題,可以每個30秒添加一個sentinel。通過SENTINEL MASTER mastername(T1)中的num-other-sentinels來檢視是否成功添加sentinel。删除一個sentinel稍微複雜一點,sentinel永遠不會删除一個已經存在過的sentinel,即使它已經與組織失去聯系。遵循如下步驟:
- 停止所要删除的sentinel
- 發送一個
指令給所有其它的sentinel執行個體,如果你想要重置指定master上面的sentinel,隻需要把*号改為特定的名字,注意,需要一個接一個發,每次發送的間隔不低于30秒。SENTINEL RESET *
- 檢查一下所有的sentinels是否都有一緻的目前sentinel數。使用
來查詢。SENTINEL MASTER mastername
首先 kill 掉一個sentinel
127.0.0.1:20086> sentinel master T1
1) "name"
2) "T1"
3) "ip"
4) "127.0.0.1"
5) "port"
6) "10088"
...
31) "num-other-sentinels"
32) "2"
...
127.0.0.1:20086> sentinel reset T1 #重新導入或則執行下面的
(integer) 1
127.0.0.1:20086> sentinel reset * #因為隻有監視一個主,是以和上面一緻
(integer) 1
127.0.0.1:20086> sentinel masters
1) 1) "name"
2) "T1"
3) "ip"
4) "127.0.0.1"
5) "port"
6) "10088"
...
...
31) "num-other-sentinels" #sentinel slave的數量
32) "1"
...
6)删除舊master或者不可達slave
要永久地删除掉一個slave(有可能它曾經是個master),你隻需要發送一個
SENTINEL RESET master
指令給所有的sentinels,它們将會更新清單裡能夠正确地複制master資料的slave。 遵循如下步驟:
- 停止所要删除的redis slave。
-
指令給所有其它的sentinel執行個體,如果你想要重置指定master上面的slave,隻需要把*号改為特定的名字。SENTINEL RESET *
-
SENTINEL MASTER mastername
首先 kill 掉一個slave
127.0.0.1:20086> sentinel masters
1) 1) "name"
2) "T1"
3) "ip"
4) "127.0.0.1"
5) "port"
6) "10088"
...
29) "num-slaves" #多少個slave
30) "2"
...
127.0.0.1:20086> sentinel reset T1 #重新導入或則執行下面的
(integer) 1
127.0.0.1:20086> sentinel reset * #和上面一緻
(integer) 1
127.0.0.1:20086> sentinel masters
1) 1) "name"
2) "T1"
3) "ip"
4) "127.0.0.1"
5) "port"
6) "10088"
...
29) "num-slaves" #多少個slave
30) "1"
...
注意:要是再次開啟關閉掉的redis slave會繼續當成一個slave,若要徹底關閉slave,則需要修改關閉掉的redis配置檔案中最後的:
# Generated by CONFIG REWRITE
slaveof 127.0.0.1 10088 #關閉改參數
7)總結
Redis-Sentinel是Redis官方推薦的高可用性(HA) 解決方案,Redis-sentinel本身也是一個獨立運作的程序,它能監控多個master-slave叢集,發現master當機後能進行自動切換。Sentinel可以監視任意多個主伺服器(複用),以及主伺服器屬下的從伺服器,并在被監視的主伺服器下線時,自動執行故障轉移操作。
為了防止sentinel的單點故障,可以對sentinel進行叢集化,建立多個sentinel。
參考文檔:
Redis Sentinel機制與用法說明
Redis Replication、Sentinel、Cluster原理說明
Redis哨兵-實作Redis高可用
叢集Failover解決方案
~~~~~~~~~~~~~~~
萬物之中,希望至美
~~~~~~~~~~~~~~~