hadoop2.7.2 聯邦配置檔案

<a href="http://s3.51cto.com/wyfs02/M00/7C/EA/wKioL1bb_3qT8ZWZAAAiBVZANDQ167.png" target="_blank"></a>

配置檔案如下：

hadoop 聯邦配置：

1.配置hadoop-env.sh

vim hadoop-2.7.2/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/jdk1.7.0_25

2.配置mapreduce：

[qujian@master ~]$ cp hadoop-2.7.2/etc/hadoop/mapred-site.xml.template hadoop-2.7.2/etc/hadoop/mapred-site.xml

[qujian@master ~]$ vim hadoop-2.7.2/etc/hadoop/mapred-site.xml

&lt;property&gt;

  &lt;name&gt;mapreduce.framework.name&lt;/name&gt;

  &lt;value&gt;yarn&lt;/value&gt;

&lt;/property&gt;

3.修改yarn-site.xml

 vim hadoop-2.7.2/etc/hadoop/yarn-site.xml 

  &lt;name&gt;yarn.nodemanager.aux-services&lt;/name&gt;

  &lt;value&gt;mapreduce_shuffle&lt;/value&gt;

  &lt;name&gt;yarn.nodemanager.aux-services.mapreduce_shuffle.class&lt;/name&gt;

  &lt;value&gt;org.apache.hadoop.mapred.ShuffleHandler&lt;/value&gt;

  &lt;name&gt;yarn.resourcemanager.address&lt;/name&gt;

  &lt;value&gt;master.hadoop.cn:8032&lt;/value&gt;

  &lt;name&gt;yarn.resourcemanager.scheduler.address&lt;/name&gt;

  &lt;value&gt;master.hadoop.cn:8030&lt;/value&gt;

  &lt;name&gt;yarn.resourcemanager.resource-tracker.address&lt;/name&gt;

  &lt;value&gt;master.hadoop.cn:8031&lt;/value&gt;

  &lt;name&gt;yarn.resourcemanager.admin.address&lt;/name&gt;

  &lt;value&gt;master.hadoop.cn:8033&lt;/value&gt;

  &lt;name&gt;yarn.resourcemanager.webapp.address&lt;/name&gt;

  &lt;value&gt;master.hadoop.cn:8088&lt;/value&gt;

4.修改slave

[qujian@master ~]$ vim hadoop-2.7.2/etc/hadoop/slaves

second2.hadoop.cn

data1.hadoop.cn

data2.hadoop.cn

5.配置core-site.xml

[qujian@master ~]$ vim hadoop-2.7.2/etc/hadoop/core-site.xml

  &lt;name&gt;fs.defaultFS&lt;/name&gt;

  &lt;value&gt;hdfs://master.hadoop.cn:9000&lt;/value&gt;

  &lt;name&gt;io.file.buffer.size&lt;/name&gt;

  &lt;value&gt;4096&lt;/value&gt;

  &lt;name&gt;hadoop.tmp.dir&lt;/name&gt;

  &lt;value&gt;file:/home/qujian/hadoop-2.7.2/tmp&lt;/value&gt;

6.修改hdfs-site.xml

[qujian@master ~]$ vim hadoop-2.7.2/etc/hadoop/hdfs-site.xml 

  &lt;name&gt;dfs.namenode.name.dir&lt;/name&gt;

  &lt;value&gt;file:/home/qujian/hadoop-2.7.2/name&lt;/value&gt;

  &lt;name&gt;dfs.datanode.data.dir&lt;/name&gt;

  &lt;value&gt;file:/home/qujian/hadoop-2.7.2/data&lt;/value&gt;

  &lt;name&gt;dfs.replication&lt;/name&gt;

  &lt;value&gt;3&lt;/value&gt;

  &lt;name&gt;dfs.webhdfs.enabled&lt;/name&gt;

  &lt;value&gt;true&lt;/value&gt;

  &lt;name&gt;dfs.permissions.enabled&lt;/name&gt;

  &lt;value&gt;false&lt;/value&gt;

  &lt;name&gt;dfs.nameservices&lt;/name&gt;

  &lt;value&gt;ns1,ns2&lt;/value&gt;

  &lt;name&gt;dfs.namenode.rpc-address.ns1&lt;/name&gt;

  &lt;value&gt;master.hadoop.cn:9000&lt;/value&gt;

  &lt;name&gt;dfs.namenode.http-address.ns1&lt;/name&gt;

  &lt;value&gt;master.hadoop.cn:50070&lt;/value&gt;

  &lt;name&gt;dfs.namenode.rpc-address.ns2&lt;/name&gt;

  &lt;value&gt;second1.hadoop.cn:9000&lt;/value&gt;

  &lt;name&gt;dfs.namenode.http-address.ns2&lt;/name&gt;

  &lt;value&gt;second1.hadoop.cn:50070&lt;/value&gt;

本文轉自 zhuxtqw 51CTO部落格，原文連結：http://blog.51cto.com/1054054/1748113，如需轉載請自行聯系原作者