天天看點

大資料RMYARN高可用機制。大資料RMYAR高可用機制在大資料領域中,RMYARNManager是YARNYetAno

作者:大資料老司機

大資料RM YARN高可用機制。

大資料RM YAR高可用機制在大資料領域中,RM YARN Manager是YARNYet Another WagcuscusE架構中的關鍵元件,負責叢集資源的管理和作業的排程。為了實作RM的高可用性,可以采取以下機制和政策:

·1、Active-S tandby模式。通過将多個Resource Manager組成主備叢集實作高可用性,主要包括一個活動ActiveRM和一個備用。Active by RM Active RM負責叢集的資源管理和作業排程,而RM處于等待狀态。通過使用 ZooKeeper等分布式協調服務。Active RM和Standby RM之間實作狀态的同步和故障切換。

當 河内 RM發生故障或不可用時,Standby RM會接管其職責,成為新的Active RM。

·2、ZooKeepe協調服務。河内 RM是一個分布式協調服務,常用于實作RM高可用性。ResourceMa nager節點與 Standfer建立連接配接,并通過在ZooKeeper中建立臨時節點來報告其狀态。通過監視這些節點,ZooKeeper可以檢測到RM的故障或不可用,并觸發故障切換過程。

·3、故障切換。Failover:當Active RM發生故障或不可用時,StandbyRM會接管其職責。在故障切換期間,Standby RM需要恢複RM的狀态、資訊,包括已送出的應用程式、容器狀态等。

為了實作快速的故障切換,可以使用備份存儲,如共享存儲或HDFS來儲存RM的中繼資料,以便在切換時進行恢複。

·4、容器恢複。YARN中的應用程式以容器的形式運作在工作節點上。當容器發生故障或節點發生故障時,YARN會自動重新啟動容器,以確定應用程式的連續性和可靠性。這種容器恢複機制可以有效地處理容器和節點故障的情況。

·5、監控和告警:為了實作高可用性,監控和告警系統是必不可少的。通過實時監控RM的運作狀态、資源使用率、作業隊列等名額并設定适當的告警機制,可以及時檢測到故障或異常情況,并采取相應的措施。

綜上所述,通過ActiveActive Standby模式,CPCfer協調服務、故障切換、容器恢複以及監控和告警等機制,可以實作YARN中Resource、ManagerRM的高可用性,確定叢集資源的可靠管理和作業的持續排程。

大資料RMYARN高可用機制。大資料RMYAR高可用機制在大資料領域中,RMYARNManager是YARNYetAno
大資料RMYARN高可用機制。大資料RMYAR高可用機制在大資料領域中,RMYARNManager是YARNYetAno
大資料RMYARN高可用機制。大資料RMYAR高可用機制在大資料領域中,RMYARNManager是YARNYetAno
大資料RMYARN高可用機制。大資料RMYAR高可用機制在大資料領域中,RMYARNManager是YARNYetAno

繼續閱讀