天天看点

Hadoop学习之--Capaycity Scheduler配置参数说明

以下列举出来的是capacity关于queue和user资源使用量相关的参数说明:

mapred.capacity-scheduler.queue.xxx.capacity:

     队列的资源容量百分比,所有队列的容量之和应小于100

mapred.capacity-scheduler.queue.xxx.maximum-capacity:

    队列资源的使用上限百分比,最高限制为100%

mapred.capacity-scheduler.queue.xxx.minimum-user-limit-percent:  

    参数值是百分比,此参数会参与计算每个用户可初始化Job数目的上限。

mapred.capacity-scheduler.queue.xxx.maximum-initialized-jobs-per-user :

    每个用户可初始化作业的最大数目

mapred.capacity-scheduler.queue.xxx.user-limit-factor :

    用于计算每个用户最多可使用资源量的参数因子,参数值为整数,默认为1,此参数可扩大用户资源使用量上限,由此计算出来的上限会与maximum-capacity两者取最小为最后的上限值,因此配置此参数的时候建议配合maximum-capacity一起使用,使两者能达到统一。

mapred.capacity-scheduler.queue.xxx.init-accept-jobs-factor:

    用于计算队列中可同时被初始化作业的数目上限,此参数是针对队列的限制,而minimum-user-limit-percent是针对具体某一用户的。

mapred.capacity-scheduler.queue.xxx.maximum-initialized-active-tasks :

    队列中同时被初始化的任务数目上限

mapred.capacity-scheduler.queue.xxx.maximum-initalized-active-tasks-per-user:

    每个用户同时被初始化的任务数目上限,不能超过maximum-initialized-active-tasks所设置的值

注:xxx代表是队列名

欢迎加入Hadoop技术群进行交流: 147681830

Hadoop学习之--Capaycity Scheduler配置参数说明

继续阅读