天天看點

cdh-HDFS HA配置硬體

要使用基于Quorum的存儲部署HA群集,您應該準備以下内容:

1.NameNode hosts:這些是您在其上運作活動和備用NameNode的主機。它們應該具有相同的硬體,以及與非HA叢集中使用的硬體等效的硬體。

2.JournalNode hosts:這些是您運作JournalNodes的主機。 Cloudera建議您在“主”主機或主機上部署JournalNode守護程式(NameNode,Standby NameNode,JobTracker等),以便JournalNodes的本地目錄可以使用這些機器上的可靠本地存儲。

3.如果共同位于同一個主機上,則每個JournalNode程序和每個NameNode程序應該有它自己的專用磁盤。您不應将SAN或NAS存儲用于這些目錄。

4.必須至少有三個JournalNode守護程序,因為編輯日志修改必須寫入大多數JournalNode。這将允許系統容忍單個主機的故障。您也可以運作三個以上的JournalNodes,但實際上增加了系統可以容忍的故障數量,您應該運作奇數個JournalNode(三個,五個,七個等等)。請注意,在運作N個JournalNodes時,系統最多可以承受(N-1)/ 2次故障并繼續正常運作。如果必需的法定人數不可用,NameNode将不會格式化或啟動,您将看到類似如下的錯誤:

// :: WARN namenode.FSEditLog: Unable to determine input streams from QJM to [:, :, :]. Skipping.
java.io.IOException: Timed out waiting ms for a quorum of nodes to respond.
           

注意:在HA群集中,備用NameNode還執行名稱空間狀态的檢查點,是以不需要在HA群集中運作Secondary NameNode,CheckpointNode或BackupNode。事實上,這樣做會是一個錯誤。如果要将非啟用HA的HDFS群集重新配置為啟用HA,則可以重新使用之前專用于Secondary NameNode的硬體。