天天看点

Hadoop-2.2.0中国文献——MapReduce 下一代 —配置单节点集群

你需从公布页面获得MapReduce tar包。若不能。你要将源代码打成tar包。

注意:你须要安装有protoc 2.5.0。

忽略本地建立mapreduce。你能够在maven中省略-Pnative參数。

tar包应该在target/directory。

如果你已经安装hadoop-common/hadoop-hdfs,而且输出了$HADOOP_COMMON_HOME/$HADOOP_HDFS_HOME,解压hadoop mapreduce 包,配置环境变量$HADOOP_MAPRED_HOME到要安装的文件夹。$HADOOP_YARN_HOME的配置和 $HADOOP_MAPRED_HOME一样.

注意:以下的操作如果你已经执行了hdfs。

要启动ResourceManager and NodeManager, 你必须升级配置。如果你的 $HADOOP_CONF_DIR是配置文件夹。而且已经安装了HDFS和core-site.xml。还有2个配置文件你必须设置 <code>mapred-site.xml</code> 和<code>yarn-site.xml</code>.

加入以下的配置到你的<code>mapred-site.xml</code>.

加入以下的配置到你的<code>yarn-site.xml</code>.

确保你放置根队列到<code>capacity-scheduler.xml</code>.

如果环境变量 $HADOOP_COMMON_HOME, $HADOOP_HDFS_HOME, $HADOO_MAPRED_HOME, $HADOOP_YARN_HOME,$JAVA_HOME 和 $HADOOP_CONF_DIR 已经设置正确。$$YARN_CONF_DIR 的设置同 $HADOOP_CONF_DIR。

执行ResourceManager 和 NodeManager 例如以下:

你应该启动和执行。你能够执行randomwriter例如以下:

祝你好运。

继续阅读