RHCS 叢集安裝部署

一 叢集：

1 叢集：

是指一組互相獨立的計算機，利用高速通信網絡組成的一個較大的計算機服務系統，每個叢集節點都是運作各自服務的獨立伺服器，這些伺服器之間可以彼此通信，協同向使用者提供應用程式，系統資源和資料，并以單一系統的模式加以管理。

2 叢集優點：

1 高性能

2 價格有效性

3 可伸縮性

4 高可用

5 透明性

6 可管理

7 可程式設計

3 RHCS 叢集組成

1 叢集架構管理器

這是RHCS 叢集的一個基礎套件，提供您一個叢集的基本功能，使各個節點組成的叢集在一起工作，具體包含分布式叢集管理器（CMAN），成員關系管理、鎖管理（DLM）配置檔案管理（CCS）、栅裝置（FENCE）

2 高可用服務管理器

提供節點服務監控和服務故障轉移，當一個節點服務出現故障時，将服務轉移到另一個健康的節點上。

3 叢集配置管理工具

通過LUCI 來管理和配置RHCS叢集，LUCI是一個基于web的叢集配置方式，通過luci可以輕松的搭建一個功能強大的叢集系統，節點主機可以使用ricci來和luci 管理段進行通信

4 Linuxvirtualserver

LVS 是一個開源的負載均衡軟體，利用LVS 可以将用戶端的請求根據指定的負載政策和算法合理配置設定到各個節點，實作動态、智能的負載分擔。

5 RedhatGS（globalfilesystem）

GFS 是Redhat公司開發的一款叢集檔案系統，目前最新的版本是GFS2，GFS檔案系統允許多個服務同時讀寫一個磁盤分區，通過GFS可以實作資料的集中管理，免去了資料同步和拷貝的麻煩，但GFS不能獨立存在，需要RHCS的底層元件支援

6 clusterlogicalvolumemanger

CLuster 邏輯卷管理，及CLVM，是LVM的擴充，這種允許cluster 中的機器使用LVM來管理共享存儲

7 ISCSI

是一種在Internet協定上，特别是以太網上進行資料傳輸的标準，他是一種基于IPstorage理論的新型存儲技術，RHCS可以通過ISCSI技術來導出和配置設定共享存儲的使用。

4 RHCS叢集運作原理及功能介紹

1 分布式叢集管理器（CMAN）

它運作在各個節點上，為RHCS提供叢集管理任務

CMAN 用于管理叢集成員、消息和通知。他通過監控每個節點的運作狀态來了解節點成員之間的關系，當節點出現故障時，CMAN及時将這種改變通知底層，進而做出相應的調整

2 鎖管理（DLM）

表示一個分布式鎖管理器，他是RHCS的一個底層基礎建構，同時也為叢集提供了一個公用的鎖運作機制，在RHCS中，DLM運作在叢集的每個節點上，GFS通過鎖管理機制來同步通路資料系統中繼資料，CLVM通過鎖管理其來同步更新資料到LVM卷和邏輯卷， DLM 不需要設定鎖骨哪裡伺服器，它采用對等的鎖管理方式，大大提高了處理性能，同時,DLM避免了當單個節點失敗需要整體恢複的性能瓶頸，另外，DLM的請求都是本地的，不需要網絡請求，因而請求會立即生效，最後，DLM通過分層機制，可以實作多個鎖空間的并行管理模式

3 配置檔案管理（CCS）

　　ClusterConfigurationSystem，簡稱CCS，主要用于叢集配置檔案管理和配置檔案在節點之間的同步。有時候，luci管理界面可能由于網絡等方面的以素并不是那麼暢快，CCS就顯得很必要了。CCS運作在叢集的每個節點上，監控每個叢集節點上的單一配置檔案/etc/cluster/cluster.conf的狀态，當這個檔案發生任何變化時，

都将此變化更新到叢集中的每個節點，時刻保持每個節點的配置檔案同步。例如，管理者在節點A上更新了叢集配置檔案，CCS發現A節點的配置檔案發生變化後，馬上将此變化傳播到其它節點上去。rhcs的配置檔案是cluster.conf，它是一個xml檔案，具體包含叢集名稱、叢集節點資訊、叢集資源和服務資訊、fence裝置等

4、栅裝置（FENCE）

FENCE裝置是RHCS叢集中必不可少的一個組成部分，通過FENCE裝置可以避免因出現不可預知的情況而造成的“腦裂”現象，FENCE裝置的出現，就是為了解決類似這些問題，Fence裝置主要就是通過伺服器或存儲本身的硬體管理接口，或者外部電源管理裝置，來對伺服器或存儲直接發出硬體管理指令，将伺服器重新開機或關機，或者與網絡斷開連接配接。

FENCE的工作原理是：當意外原因導緻主機異常或者當機時，備機會首先調用FENCE裝置，然後通過FENCE裝置将異常主機重新開機或者從網絡隔離，當FENCE操作成功執行後，傳回資訊給備機，備機在接到FENCE成功的資訊後，開始接管主機的服務和資源。這樣通過FENCE裝置，将異常節點占據的資源進行了釋放，保證了資源和服務始終運作在一個節點上。

RHCS的FENCE裝置可以分為兩種：内部FENCE和外部FENCE，常用的内部FENCE有IBMRSAII卡，HP的iLO卡，還有IPMI的裝置等，外部fence裝置有UPS、SANSWITCH、NETWORKSWITCH等

5、高可用服務管理器（rgmanager）

高可用性服務管理主要用來監督、啟動和停止叢集的應用、服務和資源。

它提供了一種對叢集服務的管理能力，當一個節點的服務失敗時，

高可用性叢集服務管理程序可以将服務從這個失敗節點轉移到其它健康節點上來，并且這種服務轉移能力是自動、透明的。

RHCS通過rgmanager來管理叢集服務，rgmanager運作在每個叢集節點上，在伺服器上對應的程序為clurgmgrd。

在一個RHCS叢集中，高可用性服務包含叢集服務和叢集資源兩個方面，叢集服務其實就是應用服務，例如apache、mysql等，叢集資源有很多種，例如一個IP位址、一個運作腳本、ext3/GFS檔案系統等。

在RHCS叢集中，高可用性服務是和一個失敗轉移域結合在一起的，所謂失敗轉移域是一個運作特定服務的叢集節點的集合。在失敗轉移域中，可以給每個節點設定相應的優先級，通過優先級的高低來決定節點失敗時服務轉移的先後順序，如果沒有給節點指定優先級，那麼叢集高可用服務将在任意節點間轉移。是以，通過建立失敗轉移域不但可以設定服務在節點間轉移的順序，而且可以限制某個服務僅在失

敗轉移域指定的節點内進行切換。　　

6、叢集配置管理工具（luci和ricci）

Conga是一種新的基于網絡的叢集配置工具，Conga是通過web方式來配置和管理叢集節點的。Conga有兩部分組成，分别是luci和ricci，luci安裝在一台獨立的計算機上，用于配置和管理叢集，ricci安裝在每個叢集節點上，Luci通過ricci和叢集中的每個節點進行通信。　　

RHCS也提供了一些功能強大的叢集指令行管理工具，常用的有clustat、cman_tool、ccs_tool、fence_tool、clusvcadm等，這些指令的用法将在下面講述。　　

7、RedhatGFS

GFS是RHCS為叢集系統提供的一個存儲解決方案，它允許叢集多個節點在塊級别上共享存儲，每個節點通過共享一個存儲空間，保證了通路資料的一緻性，更切實的說，GFS是RHCS提供的一個叢集檔案系統，多個節點同時挂載一個檔案系統分區，而檔案系統資料不受破壞，這是單一的檔案系統不能實作的。

為了實作多個節點對于一個檔案系統同時讀寫操作，GFS使用鎖管理器來管理I/O操作，當一個寫程序操作一個檔案時，這個檔案就被鎖定，此時不允許其它程序進行讀寫操作直到這個寫程序正常完成才釋放鎖，有當鎖被釋放後，其它讀寫程序才能對這個檔案進行操作，另外，當一個節點在GFS檔案系統上修改資料後，這種修改操作會通過RHCS底層通信機制立即在其它節點上可見。　　

在搭建RHCS叢集時，GFS一般作為共享存儲，運作在每個節點上，并且可以通過RHCS管理工具對GFS進行配置和管理。這些需要說明的是RHCS和GFS之間的關系，一般初學者很容易混淆這個概念：運作RHCS，GFS不是必須的，隻有在需要共享存儲時，才需要GFS支援，而搭建GFS叢集檔案系統，必須要有RHCS的底層支援，是以安裝GFS檔案系統的節點，必須安裝RHCS元件。

二 實驗環境：

兩台NGINX伺服器負責前端排程，叢集伺服器被搭建在前面兩态伺服器上

兩台HTTPd伺服器負責提供web界面

1 基本環境說明：

裝置名稱	功能描述	裝置IP位址
server1	nginx 負載均衡器 RHCS叢集子節點	192.168.122.149
server4	NGINX負載均衡器 RHCS叢集子節點	192.168.122.58
server2	web 服務	192.168.122.177
server3		192.168.122.85

2 NGINX 環境準備

1 安裝軟體

1 下載下傳并解壓軟體

2 去除修改gcc産生的檔案，以減少NGINX的檔案大小

、

3 去除NGINX版本号，以防止**

4 指定其安裝位置及安裝的子產品

5 編譯并安裝

6 檢視檔案大小

7 建立連接配接檔案

8 啟動及檢視

9 其預設釋出目錄位置

10 備份主配置檔案

2 基本優化

一般優化項：

1 優化NGINX運作使用者，其預設使用nobody

建立nginx 使用者群組

修改配置

重新開機服務

檢視其啟動情況：

2 優化程序數

預設的NGINX多個程序有可能跑在一個CPU上，導緻NGINX程序使用硬體的資源不均，是以需要針對一個CPU配置一個程序

3 配置最大連結數

Woker_connections 的值要根據具體伺服器性能和程式的記憶體使用量來指定（一個程序啟動使用的是記憶體根據程式确定），如下Events 核定NGINX的工作模式以及連結數上限。

服務端修改：

配置檔案修改

檢視

3 配置負載均衡

1 檢視後端服務IP位址

2 修改配置檔案

此處的IP應該對應後面叢集的VIP位址：

3 重新開機服務：

server 1 配置檔案複制到server4 中；

建立軟連接配接，以便于啟動服務：

修改配置和server1 相同：

配置位址解析并測試：

三 ：叢集軟體安裝

1 叢集管理軟體ricci 和 luci 的安裝與啟動

1 ricci 安裝

2 設定管理軟體的密碼

3 啟動節點管理工具

4 設定開機自啟動

5 安裝配置管理工具luci

6 啟動服務并配置開機自啟動

四 叢集節點的添加

1 使用web界面進行登入，并添加其信任，

其使用者名和密碼分别是root和節點server1 root對應的密碼，

2 建立叢集節點資源

并添加節點，其名稱是對應的uname -n 對應的主機名，密碼是在ricci 安裝完成後設定的密碼

叢集節點建立中：

叢集節點建立完成：

3 檢視叢集節點狀态 clustat

四 向叢集中添加NGINX服務：

1 建立NGINX啟動腳本：

2 添加執行權限并進行測試：

3 将其發送到另一個節點上并進行測試：

4 添加nginx服務資源

1 添加服務資源名并配置相關優先級：

5 添加虛拟VIP位址并配置子網路遮罩。

6 添加NGINX啟動腳本：

7 添加組，将其上面的VIP和NGINX綁定到同一個組中，使用VIP來當做NGINX 監聽的IP位址，及用戶端通路使用的IP位址。

添加成功：

8 進行測試：

五 叢集重新開機之後使服務運作步驟

六 fence 安裝

1 在真機上安裝而不是在排程器或後端server 上

2 生成密鑰：

此處的網絡接口必須與server1和server4在同一個網段的端口，負責不能起到防止腦裂的作用，因為如果不在同一個網段，網絡則不通、

3 發送器密鑰到叢集節點上，使其與監控端的通信使用密文傳輸。

4 添加fence 資源：

選擇使用多點傳播方式進行資料傳輸，因為上述在生成密文的時候預設是使用多點傳播的方式傳輸資訊的。

5 添加個服務的子資源

6 通過UUID的方式綁定資源，其UUID是不可變的，是以使用UUID最為合适，

7 測試結果，看其在一個節點突然down機後是否能夠立即重新啟動

7 添加共享磁盤資源運作mysql服務：

1 服務端server2 配置設定磁盤資源

2 檢視資源是否添加成功：

3 服務端安裝scsi 軟體，并配置其辨別符：

yum -y install   scsi*           

4 用戶端安裝iscsi 軟體以共享磁盤資源

5 發現服務端資源并檢視：

6 磁盤分區，

注意此時的磁盤隻需要進行一次分區即可，因為其是同一塊磁盤：

7 磁盤格式化

8 挂載

9 檢視：

10 解除安裝：

11 安裝mysql服務并将其挂載到共享磁盤上：

1 安裝mysql

兩邊都安裝服務單隻需要一邊啟動服務，因為通過啟動服務擷取的配置檔案将被移動到共享資源中，兩邊的服務的目錄都将挂載共享資源，及啟動配置檔案：

2 将啟動檔案複制到共享資源/dev/sda1中

必須-rp -r表示複制目錄-p 表示複制權限。

3 授予目錄mysql 使用者和使用者組的權限，否則mysql使用者将不能通路此共享目錄

4 啟動mysql服務并測試，開啟看其是否成功，測試完成後需關閉，因為不同節點的mysql服務不能同時讀取同一個mysql配置檔案。

5 另一節點挂載并啟動服務，而後關閉服務并解除安裝，因為叢集在啟動服務時會自動挂載，是以如果此時挂載可能會出現錯誤：

12 将共享mysql磁盤寫入到叢集中：

1 添加子產品

2 添加虛拟VIP，

可以使用上述的VIP，也可以分開，建議分開使用。

3 添加挂載檔案，

其格式是ext4 檔案系統，因為上述格式化時使用的是ext4檔案系統

4 添加mysql啟動腳本。

5 添加組名并設定優先級：優先級高的服務将預設在其上面運作。

添加組，将VIP 、磁盤挂載、腳本啟動進行綁定，其順序不能混雜，因為其順序是啟動的順序。

6 建立成功并啟動成功：

7 mysql進行啟動測試：

8 設定遠端連結權限

9 進行遠端連結，其IP位址是第二次添加的VIP位址。

13 測試

1 關閉server4 端mysql

此時server1端mysql服務啟動

2 進行遠端登入測試

3 檢視叢集狀态

8 配置LVS針對mysql共享的拉伸

1 建立LVM

1 關閉原有服務

2 iscsi 共享服務缺點

其不能完成并發的資料庫服務通路及兩邊的讀寫不同步：

3 關閉原有的服務：

4 挂載共享服務并将mysql的配置檔案和資料進行備份：

5 移除對磁盤的挂載，采用本地挂載的方式進行磁盤的挂載操作

6 使用LVM進行對磁盤的操作，此處的鎖類型必須是3，否則會報錯。資料将不能通過鎖機制進行通信。

7 此時的檔案系統格式是8e，不能是預設格式，使用t 進行修改成8e

8 進行檢視其劃分的磁盤空間為4GB

9 必須在server4 端看到相應的修改，否則不能進行下一步。以下相同。

10 建立邏輯卷：

11 格式化磁盤，其盤名必須有叢集的名稱。

12 挂載并驗證其同步性

2 擴充LVM

1 建立分區，此時的檔案系統類型也應該是8e

2 另一個節點上必須看到相同變化，否則不能進行下一步。

3 拉伸磁盤容量：

4 設定開機自動挂載：兩個節點都要設定：

5 将備份的資料庫啟動資料放入共享目錄中，以便都可以進行讀取

6 啟動mysql資料庫并進行檢視：

7 遠端登入資料庫：

8 節點的關閉與啟動

9 叢集的删除：

1 關閉叢集資源

2 分離叢集節點

節點上進行檢視：

3 關閉叢集節點上的自啟動服務。

4 删除叢集兩邊的配置檔案

5 關閉開機自動挂載：

6 檢視是否解除安裝

7 關閉叢集裝置