天天看點

NoSQL 之Redis主從複制、哨兵和叢集介紹及詳細搭建步驟(這個夏天,月光漫過樹梢,清洗整棟小樓,一大一小兩個背影坐落夜裡。)

一、主從複制

1.1 主從複制的概念

主從複制,是指将一台 Redis 伺服器的資料,複制到其他的 Redis 伺服器。前者稱為主節點(Master),後者稱為從節點(Slave);資料的複制是單向的,隻能由主節點到從節點。

預設情況下,每台 Redis 伺服器都是主節點;且一個主節點可以有多個從節點 (或沒有從節點),但一個從節點隻能有一個主節點。

1.2 主從複制的作用

資料備援:主從複制實作了資料的熱備份,是持久化之外的一種資料備援方式。

故障恢複:當主節點出現問題時,可以由從節點提供服務,實作快速的故障恢複;實際上是一種服務的備援。

負載均衡:在主從複制的基礎上,配合讀寫分離,可以由主節點提供寫服務,由從節點提供讀服務 (即寫 Redis 資料時應用連接配接主節點,讀 Redis 資料時應用連接配接從節點),分擔伺服器負載;尤其是在寫少讀多的場景下,通過多個從節點分擔讀負載,可以大大提高Redis伺服器的并發量。

高可用基石:除了上述作用以外,主從複制還是哨兵和叢集能夠實施的基礎,是以說主從複制是Redis高可用的基礎。

1.3 主從複制的流程

若啟動一個Slave機器程序,則它會向Master機器發送一個“sync command" 指令,請求同步連接配接。

無論是第一次連接配接還是重新連接配接,Master機器 都會啟動一個背景程序,将資料快照儲存到資料檔案中(執行rdb操作) ,同時 Master 還會記錄修改資料的所有指令并緩存在資料檔案中。

背景程序完成緩存操作之後,Master 機器就會向 Slave 機器發送資料檔案,Slave 端機器将資料檔案儲存到硬碟上,然後将其加載到記憶體中,接着 Master 機器就會将修改資料的所有操作一并發送給 Slave 端機器。若 Slave 出現故障導緻當機,則恢複正常後會自動重新連接配接。

Master機器收到 Slave 端機器的連接配接後,将其完整的資料檔案發送給 Slave 端機器,如果 Mater 同時收到多個 Slave 發來的同步請求,則 Master 會在背景啟動一個程序以儲存資料檔案,然後将其發送給所有的 Slave 端機器,確定所有的 Slave 端機器都正常。

1.4 部署Redis 主從複制步驟

環境準備工作:

伺服器類型 系統和IP位址 需要安裝的元件 其他

master伺服器 CentOS7.4(64 位) 192.168.80.10 redis-5.0.7.tar.gz 需要使用yum線上源

slave伺服器1 CentOS7.4(64 位) 192.168.80.20 redis-5.0.7.tar.gz 需要使用yum線上源

slave伺服器2 CentOS7.4(64 位) 192.168.80.30 redis-5.0.7.tar.gz 需要使用yum線上源

1)首先要搭建redis,在之前的部落格寫過, 具體可參考:NoSQL之 Redis配置與優化中的第三節:redis的安裝和部署!

安裝完成如下圖所示:

NoSQL 之Redis主從複制、哨兵和叢集介紹及詳細搭建步驟(這個夏天,月光漫過樹梢,清洗整棟小樓,一大一小兩個背影坐落夜裡。)

2)關閉防火牆

systemctl stop firewalld

systemctl disable firewalld

setenforce 0

3)修改master主配置檔案

-----------修改Redis 配置檔案(Master節點操作) ----------

vim /etc/redis/6379.conf

bind 0.0.0.0 #70行,注釋掉bind項,或修改為0.0.0.0,預設監聽所有網卡

daemonize yes #137行,開啟守護程序

logfile /var/log/redis_6379.log #172行,指定日志檔案目錄

dir /var/lib/redis/6379 #264行,指定工作目錄

appendonly yes #700行,開啟AOF持久化功能

/etc/init.d/redis_6379 restart

4)修改slave1和slave2主配置檔案

-----------修改Redis 配置檔案(Slave節點操作)------------

bind 0.0.0.0 #70行,修改監聽位址為0.0.0.0

replicaof 192.168.80.10 6379 #287行,取消注釋并指定要同步的Master節點IP和端口

5)驗證主從效果

-------------驗證主從效果-------------

在Master節點上看日志:

tail -f /var/log/redis_6379.log

在Master節點上驗證從節點:

redis-cli

127.0.0.1:6379> info replication

1.5 部署Redis 主從複制的具體操作步驟(實操)

1)修改master主配置檔案,并重新開機

NoSQL 之Redis主從複制、哨兵和叢集介紹及詳細搭建步驟(這個夏天,月光漫過樹梢,清洗整棟小樓,一大一小兩個背影坐落夜裡。)

2)修改slave1和slave2主配置檔案,并重新開機

NoSQL 之Redis主從複制、哨兵和叢集介紹及詳細搭建步驟(這個夏天,月光漫過樹梢,清洗整棟小樓,一大一小兩個背影坐落夜裡。)

3)驗證主從效果

日志驗證:

NoSQL 之Redis主從複制、哨兵和叢集介紹及詳細搭建步驟(這個夏天,月光漫過樹梢,清洗整棟小樓,一大一小兩個背影坐落夜裡。)

redis内驗證:

NoSQL 之Redis主從複制、哨兵和叢集介紹及詳細搭建步驟(這個夏天,月光漫過樹梢,清洗整棟小樓,一大一小兩個背影坐落夜裡。)

建立資料驗證:

NoSQL 之Redis主從複制、哨兵和叢集介紹及詳細搭建步驟(這個夏天,月光漫過樹梢,清洗整棟小樓,一大一小兩個背影坐落夜裡。)

二、哨兵模式

NoSQL 之Redis主從複制、哨兵和叢集介紹及詳細搭建步驟(這個夏天,月光漫過樹梢,清洗整棟小樓,一大一小兩個背影坐落夜裡。)

哨兵的核心功能:在主從複制的基礎上,哨兵引入了主節點的自動故障轉移。

2.1 哨兵模式的原理

哨兵(sentinel):是一個分布式系統,用于對主從結構中的每台伺服器進行監控,當出現故障時通過投票機制選擇新的Master,并将所有Slave 連接配接到新的Master。是以整個運作哨兵的叢集的數量不得少于3個節點。

2.2 哨兵模式的作用

監控:哨兵會不斷地檢查主節點和從節點是否運作正常。

自動故障轉移:當主節點不能正常工作時,哨兵會開始自動故障轉移操作,它會将失效主節點的其中一個從節點更新為新的主節點,并讓其他從節點改為複制新的主節點。

通知(提醒):哨兵可以将故障轉移的結果發送給用戶端。

2.3 哨兵模式的結構

哨兵結構由兩部分組成:哨兵節點和資料節點。

哨兵節點:哨兵系統由一個或多個哨兵節點組成,哨兵節點是特殊的 redis 節點,不存儲資料。

資料節點:主節點和從節點都是資料節點。

哨兵的啟動依賴于主從模式,是以須把主從模式安裝好的情況下再去做哨兵模式,所有節點上都需要部署哨兵模式,哨兵模式會監控所有的Redis 工作節點是否正常,當Master 出現問題的時候,因為其他節點與主節點失去聯系,是以會投票,投票過半就認為這個 Master 的确出現問題,然後會通知哨兵間,然後從Slaves中選取一個作為新的 Master。

需要特别注意的是:客觀下線是主節點才有的概念;如果從節點和哨兵節點發生故障,被哨兵主觀下線後,不會再有後續的客觀下線和故障轉移操作。

2.4 哨兵模式的部署

1)所有節點修改哨兵模式的配置檔案

--------修改Redis哨兵模式的配置檔案(所有節點操作) --------

vim /opt/redis-5.0.7/sentinel.conf

protected-mode no #17行,關閉保護模式

daemonize yes #26行,指定sentinel為背景啟動

logfile "/var/log/sentinel.log" #36行,指定日志存放路徑

dir "/var/lib/redis/6379" #65行,指定資料庫存放路徑

sentinel monitor mymaster 192.168.80.10 6379 2 #84行, 修改

指定該哨兵節點監控192.168.80.10:6379這個主節點,該主節點的名稱是mymaster,最後的2的含義與主節點的故障判定有關:至少需要2個哨兵節點同意,才能判定主節點故障并進行故障轉移

sentinel down-after-milliseconds mymaster 30000 #113行,判定伺服器down掉的時間周期,預設30000毫秒(30秒)

sentinel failover-timeout mymaster 180000 #146行,故障節點的最大逾時時間為180000 (180秒 )

2)啟動哨兵模式

----------啟動哨兵模式-----------------

注意:先啟master,再啟slave

cd /opt/redis-5.0.7/

redis-sentinel sentinel.conf &

3)檢視哨兵資訊

-----------檢視哨兵資訊------------------

redis-cli -p 26379 info Sentinel

# Sentinel

sentinel_masters:1

sentinel_tilt:0

sentinel_running_scripts:0

sentinel_scripts_queue_length:0

sentinel_simulate_failure_flags:0

master0:name=mymaster,status=ok,address=192.168.80.10:6379,slaves=2,sentinels=3

4)故障模拟

---------故障模拟--------------

#檢視redis-server程序号(在Master 上進行):

ps -ef | grep redis

root 16913 1 0 19:12 ? 00:00:20 /usr/local/redis/bin/redis-server 0.0.0.0:6379

root 18991 1 0 22:37 ? 00:00:02 redis-sentinel *:26379 [sentinel]

root 19141 16668 0 22:50 pts/1 00:00:00 grep --color=auto redis

#殺死 Master 節點上redis-server的程序号

kill -9 57521 #Master節點上redis-server的程序号

5)驗證master是否切換

#驗證結果,檢視master是轉換至從伺服器

tail -f /var/log/sentinel.log

#在Slave1上檢視是否轉換成功

redis-cli -p 26379 INFO Sentinel

master0:name=mymaster,status=ok,address=192.168.80.20:6379,slaves=2,sentinels=3

2.5 哨兵模式部署的具體操作步驟(實操)

NoSQL 之Redis主從複制、哨兵和叢集介紹及詳細搭建步驟(這個夏天,月光漫過樹梢,清洗整棟小樓,一大一小兩個背影坐落夜裡。)
NoSQL 之Redis主從複制、哨兵和叢集介紹及詳細搭建步驟(這個夏天,月光漫過樹梢,清洗整棟小樓,一大一小兩個背影坐落夜裡。)
NoSQL 之Redis主從複制、哨兵和叢集介紹及詳細搭建步驟(這個夏天,月光漫過樹梢,清洗整棟小樓,一大一小兩個背影坐落夜裡。)
NoSQL 之Redis主從複制、哨兵和叢集介紹及詳細搭建步驟(這個夏天,月光漫過樹梢,清洗整棟小樓,一大一小兩個背影坐落夜裡。)

2)啟動哨兵模式(先master後slave)

NoSQL 之Redis主從複制、哨兵和叢集介紹及詳細搭建步驟(這個夏天,月光漫過樹梢,清洗整棟小樓,一大一小兩個背影坐落夜裡。)
NoSQL 之Redis主從複制、哨兵和叢集介紹及詳細搭建步驟(這個夏天,月光漫過樹梢,清洗整棟小樓,一大一小兩個背影坐落夜裡。)

擷取redis的pid

NoSQL 之Redis主從複制、哨兵和叢集介紹及詳細搭建步驟(這個夏天,月光漫過樹梢,清洗整棟小樓,一大一小兩個背影坐落夜裡。)

殺死 Master 節點上redis-server的程序号

NoSQL 之Redis主從複制、哨兵和叢集介紹及詳細搭建步驟(這個夏天,月光漫過樹梢,清洗整棟小樓,一大一小兩個背影坐落夜裡。)

master上檢視日志

NoSQL 之Redis主從複制、哨兵和叢集介紹及詳細搭建步驟(這個夏天,月光漫過樹梢,清洗整棟小樓,一大一小兩個背影坐落夜裡。)

slave上檢視是否轉換成功

NoSQL 之Redis主從複制、哨兵和叢集介紹及詳細搭建步驟(這個夏天,月光漫過樹梢,清洗整棟小樓,一大一小兩個背影坐落夜裡。)

三、叢集模式

NoSQL 之Redis主從複制、哨兵和叢集介紹及詳細搭建步驟(這個夏天,月光漫過樹梢,清洗整棟小樓,一大一小兩個背影坐落夜裡。)

叢集,即 Redis Cluster, 是Redis 3. 0開始引入的分布式存儲方案。

叢集由多個節點(Node) 組成,Redis 的資料分布在這些節點中。

叢集中的節點分為主節點和從節點;隻有主節點負責讀寫請求和叢集資訊的維護;從節點隻進行主節點資料和狀态資訊的複制。

3.1 叢集模式的作用

資料分區:資料分區(或稱資料分片) 是叢集最核心的功能。

叢集将資料分散到多個節點,一方面突破了 Redis 單機記憶體大小的限制,存儲容量大大增加;另一方面每個主節點都可以對外提供讀服務和寫服務,大大提高了叢集的響應能力。

Redis 單機記憶體大小受限問題,在介紹持久化和主從複制時都有提及;例如,如果單機記憶體太大,bgsave 和 bgrewriteaof的 fork 操作可能導緻主程序阻塞,主從環境下主機切換時可能導緻從節點長時間無法提供服務,全量複制階段主節點的複制緩沖區可能溢出。

高可用:叢集支援主從複制和主節點的自動故障轉移(與哨兵類似) ;當任一節點發生故障時,叢集仍然可以對外提供服務。

3.2 叢集模式的資料分片

Redis叢集引入了哈希槽的概念

Redis叢集有 16384 個哈希槽( 編号0-16383)

叢集的每個節點負責一部分哈希槽

每個Key 通過 CRC16 校驗後對16384取餘來決定放置哪個哈希槽,通過這個值,去找到對應的插槽所對應的節點,然後直接自動跳轉到這個對應的節點上進行存取操作

<- - -以3個節點組成的叢集為例- - ->

節點A 包含0到5460号哈希槽

節點B 包含5461到10922号哈希槽

節點C 包含10923到16383号哈希槽

3.3 叢集模式的主從複制模型

叢集中具有A、B、C三個節點,如果節點B失敗了,整個叢集就會因缺少5461-10922這個範圍的槽而不可以用。

為每個節點添加一個從節點A1、B1、C1整個叢集便有三個Master節點和三個slave節點組成,在節點B失敗後,叢集選舉B1位為主節點繼續服務。當B和B1都失敗後,叢集将不可用。

3.4 Redis 叢集部署步驟

伺服器類型 系統和IP位址 需要安裝的元件 節點端口

master伺服器 CentOS7.4(64 位) 192.168.80.10 redis-5.0.7.tar.gz 6001

master伺服器 CentOS7.4(64 位) 192.168.80.20 redis-5.0.7.tar.gz 6002

master伺服器 CentOS7.4(64 位) 192.168.80.30 redis-5.0.7.tar.gz 6003

slave伺服器 CentOS7.4(64 位) 192.168.80.40 redis-5.0.7.tar.gz 6004

slave伺服器 CentOS7.4(64 位) 192.168.80.50 redis-5.0.7.tar.gz 6005

slave伺服器 CentOS7.4(64 位) 192.168.80.60 redis-5.0.7.tar.gz 6006

1)建立目錄複制配置檔案到對應的節點上

redis的叢集一般需要6個節點, 3主3從。友善起見,這裡所有節點在同一台伺服器上模拟:

以端口号進行區分: 3個主節點端口号: 6001/6002/6003, 對應的從節點端口号: 6004/6005/6006

cd /etc/redis/

mkdir -p redis-cluster/redis600{1..6}

for i in {1. .6}

do

cp /opt/redis-5.0.7/redis.conf /etc/redis/redis-cluster/redis600$i

cp /opt/redis-5.0.7/src/redis-cli /opt/redis-5.0.7/src/redis-server /etc/redis/redis-cluster/redis600$i

done

2)修改主配置檔案,設定開啟群集功能

#其他5個檔案夾的配置檔案以此類推修改,注意6個端口都要不一樣。

cd /etc/redis/redis-cluster/redis6001

vim redis.conf

#bind 127.0.0.1 #69行,注釋掉bind項,預設監聽所有網卡

protected-mode no #88行,修改,關閉保護模式

port 6001 #92行,修改,redis監聽端口

daemonize yes #136行,開啟守護程序,以獨立程序啟動

appendonly yes #699行,修改,開啟AOF持久化

cluster-enabled yes #832行,取消注釋,開啟群集功能

cluster-config-file nodes-6001.conf #840行,取消注釋,群集名稱檔案設定

cluster-node-timeout 15000 #846行,取消注釋群集逾時時間設定

#可以寫一個for循環将6001的檔案複制給6002~6006,這樣就不需要全部一個一個檔案進行修改了

for i in {2..6}

/usr/bin/cp -f /etc/redis/redis-cluster/redis6001/redis.conf /etc/redis/redis-cluster/redis600$i/redis.conf

#之後稍微修改檔案即可(修改以下兩個配置項):

92行,修改,redis監聽端口

840行,取消注釋,群集名稱檔案設定

3)啟動redis節點

# 啟動redis節點(方法一)

分别進入那六個檔案夾,執行指令: redis-server redis.conf,來啟動redis節點

redis-server redis.conf

## 使用for循環一鍵啟動所有節點(方法二)

for d in {1..6}

cd /etc/redis/redis-cluster/redis600$d

4)啟動叢集

#啟動叢集

redis-cli --cluster create 127.0.0.1:6001 127.0.0.1:6002 127.0.0.1:6003 127.0.0.1:6004 127.0.0.1:6005 127.0.0.1:6006 --cluster-replicas 1

#六個執行個體分為三組,每組一主一從,前面的做主節點,後面的做從節點。下面互動的時候需要輸入yes 才可以建立。

-replicas 1 #表示每個主節點有1個從節點。

5)測試叢集

#測試群集

redis-cli -p 6001 -c #加-c參數,節點之間就可以互相跳轉

127.0.0.1:6001> cluster slots #檢視節點的哈希槽編号範圍

1) 1) (integer) 5461

2) (integer) 10922 #哈希槽編号範圍

3) 1) "127.0.0.1" .

2) (integer) 6003 #主節點IP和端口号

3) " fdca661922216dd69a 63a7c9d3c4540cd6baef44"

4) 1) "127.0.0.1"

2) (integer) 6004 #從節點IP和端口号

3) "a2c0c32aff0f38980accd2b63d6d952812e44740"

2) 1) (integer) 0

2) (integer) 5460

3) 1) "127.0.0.1"

2) (integer) 6001

3) "0e5873747a2e2 6bdc935bc76c2ba fb19d0a54b11"

2) (integer) 6006

3) "8842ef5584a85005e135fd0ee59e5a0d67b0cf8e"

3) 1) (integer) 10923

2) (integer) 16383

2) (integer) 6002

3) "81 6ddaa3d14 69540b2f fbcaaf9aa867646846b30"

2) (integer) 6005

3) "f847077bfe6722466e96178ae8cbb09dc8b4d5eb"

127.0.0.1:6001> set name zhangsan

-> Redirected to slot [5798] located at 127.0.0.1: 6003

OK

127.0.0.1:6001> cluster keyslot name #檢視name鍵的槽編号

(integer) 5798

3.5 Redis 叢集部署的具體操作步驟(實操)

① 建立6個節點目錄

NoSQL 之Redis主從複制、哨兵和叢集介紹及詳細搭建步驟(這個夏天,月光漫過樹梢,清洗整棟小樓,一大一小兩個背影坐落夜裡。)

② 複制配置檔案到對應節點目錄中

NoSQL 之Redis主從複制、哨兵和叢集介紹及詳細搭建步驟(這個夏天,月光漫過樹梢,清洗整棟小樓,一大一小兩個背影坐落夜裡。)
NoSQL 之Redis主從複制、哨兵和叢集介紹及詳細搭建步驟(這個夏天,月光漫過樹梢,清洗整棟小樓,一大一小兩個背影坐落夜裡。)
NoSQL 之Redis主從複制、哨兵和叢集介紹及詳細搭建步驟(這個夏天,月光漫過樹梢,清洗整棟小樓,一大一小兩個背影坐落夜裡。)
NoSQL 之Redis主從複制、哨兵和叢集介紹及詳細搭建步驟(這個夏天,月光漫過樹梢,清洗整棟小樓,一大一小兩個背影坐落夜裡。)

可以使用ps -ef | grep redis 檢視redis程序

NoSQL 之Redis主從複制、哨兵和叢集介紹及詳細搭建步驟(這個夏天,月光漫過樹梢,清洗整棟小樓,一大一小兩個背影坐落夜裡。)
NoSQL 之Redis主從複制、哨兵和叢集介紹及詳細搭建步驟(這個夏天,月光漫過樹梢,清洗整棟小樓,一大一小兩個背影坐落夜裡。)
NoSQL 之Redis主從複制、哨兵和叢集介紹及詳細搭建步驟(這個夏天,月光漫過樹梢,清洗整棟小樓,一大一小兩個背影坐落夜裡。)