天天看點

Step by step,學習EMR叢集的fair類型資源池一個資料分析師三個資料分析師最小資源保障多部門混合使用

叢集越大,跑的業務越多,越需要資源池管理。資源排程是yarn的核心。

公司剛開始,業務團隊隻有小明一個資料分析師。一個人用整個叢集,預設資源池配置即可。随便跑作業,随便殺作業。

公司發展,業務團隊小明,張華,李萍三個資料分析師了。還用預設資源池不分隊列,一個人把資源用滿其他人就用不了了。殺作業很容易殺掉别人的作業,互相影響,出了問題無法定位。

于是采用三個人均分資源政策,建立三個資源池,隻設定名字和權重1,管理通路控制的使用者名。放置政策采用使用者名為隊列。gateway上建了三個作業系統賬戶xiaoming,zhanghua,liping,三個分析師用自己的系統賬戶送出作業,管理作業。

建立資源池-管理通路控制

Step by step,學習EMR叢集的fair類型資源池一個資料分析師三個資料分析師最小資源保障多部門混合使用

資源池設定

Step by step,學習EMR叢集的fair類型資源池一個資料分析師三個資料分析師最小資源保障多部門混合使用
Step by step,學習EMR叢集的fair類型資源池一個資料分析師三個資料分析師最小資源保障多部門混合使用

設定放置規則

Step by step,學習EMR叢集的fair類型資源池一個資料分析師三個資料分析師最小資源保障多部門混合使用

建立作業系統賬戶略。

雖然權重均分了,但大家發現,如果小明跑任務已經占用了全部資源,張華,李萍跑任務依然要等待小明作業釋放了部分資源才能跑起任務。這是因為權重隻有配置設定資源時生效,已占用的資源不會釋放。

是以要增加最小記憶體,核心數的配置,保障每個隊列至少有這些資源可用,重要任務可以跑起來。每個隊列保障32000MB記憶體,8核心數。

Step by step,學習EMR叢集的fair類型資源池一個資料分析師三個資料分析師最小資源保障多部門混合使用

公司繼續發展,除了業務部A,又成立了市場部B,營銷部C。都要使用叢集。業務上,分析任務也有了每天運作的生産任務和臨時查資料,開發測試的日常任務的差別。

為了管理各個部門的資源配置,系統管理者給各個部門建立了資源池,并控制各個資源池上限。每個部門資源池又建立了生産子隊列,各個分析師的使用者子隊列。放置規則采用組名映射隊列方式,gateway上給各部門建立使用者組,每個部門的使用者,生産任務各建立一個使用者。

部門和使用者隊列

Step by step,學習EMR叢集的fair類型資源池一個資料分析師三個資料分析師最小資源保障多部門混合使用

放置規則

Step by step,學習EMR叢集的fair類型資源池一個資料分析師三個資料分析師最小資源保障多部門混合使用

如果資料分析師日常任務占用了大量資源,生産任務可能得不到資源保障。需要配置搶占政策,確定生産任務能獲得需要的資源。

生産資源池配置禁止搶占該資源池的資源,搶占份額為0.8,搶占逾時時間為30秒。這樣當生産任務不夠權重的0.8,30秒後就會kill日常任務,給生産任務釋放資源。

Step by step,學習EMR叢集的fair類型資源池一個資料分析師三個資料分析師最小資源保障多部門混合使用

繼續閱讀