天天看點

Hadoop學習之--Capaycity Scheduler配置參數說明

以下列舉出來的是capacity關于queue和user資源使用量相關的參數說明:

mapred.capacity-scheduler.queue.xxx.capacity:

     隊列的資源容量百分比,所有隊列的容量之和應小于100

mapred.capacity-scheduler.queue.xxx.maximum-capacity:

    隊列資源的使用上限百分比,最高限制為100%

mapred.capacity-scheduler.queue.xxx.minimum-user-limit-percent:  

    參數值是百分比,此參數會參與計算每個使用者可初始化Job數目的上限。

mapred.capacity-scheduler.queue.xxx.maximum-initialized-jobs-per-user :

    每個使用者可初始化作業的最大數目

mapred.capacity-scheduler.queue.xxx.user-limit-factor :

    用于計算每個使用者最多可使用資源量的參數因子,參數值為整數,預設為1,此參數可擴大使用者資源使用量上限,由此計算出來的上限會與maximum-capacity兩者取最小為最後的上限值,是以配置此參數的時候建議配合maximum-capacity一起使用,使兩者能達到統一。

mapred.capacity-scheduler.queue.xxx.init-accept-jobs-factor:

    用于計算隊列中可同時被初始化作業的數目上限,此參數是針對隊列的限制,而minimum-user-limit-percent是針對具體某一使用者的。

mapred.capacity-scheduler.queue.xxx.maximum-initialized-active-tasks :

    隊列中同時被初始化的任務數目上限

mapred.capacity-scheduler.queue.xxx.maximum-initalized-active-tasks-per-user:

    每個使用者同時被初始化的任務數目上限,不能超過maximum-initialized-active-tasks所設定的值

注:xxx代表是隊列名

歡迎加入Hadoop技術群進行交流: 147681830

Hadoop學習之--Capaycity Scheduler配置參數說明

繼續閱讀