hadoop之 reduce個數控制

1、參數變更

1.x 參數名                                                         2.x 參數名 

mapred.tasktracker.reduce.tasks.maximum     mapreduce.tasktracker.reduce.tasks.maximum

mapred.reduce.tasks                                       mapreduce.job.reduces

2、參數設定

2.1、mapred.tasktracker.reduce.tasks.maximum設定為邏輯CPU個數

<property> 

<name>mapred.tasktracker.reduce.tasks.maximum</name> 

<value>8</value> 

<final>true</final> 

</property>

2.2.1、 hadoop 伺服器端參數設定

mapred.reduce.tasks <= mapred.tasktracker.reduce.tasks.maximum <= 單台 datanode 邏輯cpu個數

2.2.2、應用端調用 job. setNumReduceTasks（int n） 方法指定

文章可以轉載，必須以連結形式标明出處。

本文轉自 張沖andy 部落格園部落格，如需轉載請自行聯系 原作者原文連結：http://www.cnblogs.com/andy6/p/8410590.html