Hadoop 2.x 叢集環境搭建不需要配置分片同時配置了NodeManager的節點位址

======================================================

基礎環境設定,以centos7為例：

1.配置/etc/sysconfig/network-scripts/ifcfg-ens33 綁定ip

2.配置主機名ip解析，編輯 /etc/hosts

3.修改主機名，編輯/etc/sysconfig/network ,添加一行

4.關閉iptables，selinux，firewalld

5.安裝jdk，配置$java_home

6.解壓hadoop2.x 至/opt/app下，配置$hadoop_home

7.所有主機之間設定ssh免驗證登陸,包括本機自己ssh也要配置 (3台機器都有同一個使用者，beifeng)

========================================================

hadoop 2.x 分布式部署方案

hostname ipaddr hdfs yarn mapreduce

hadoop-master 192.168.1.129 namenode,datanode nodemanager job_history_server

hadoop-slave1 192.168.1.130 datanode resourcemanager,nodemanager

hadoop-slave2 192.168.1.131 secondarynamenode,datanode nodemanager

==========================================================

hadoop 2.x 各守護程序相關配置檔案

hdfs：

yarn:

mapreduce:

===============================================================

在hadoop-master節點配置hdfs、yarn及mapreduce

1.配置hdfs

(一般配置好javahome不用再配置hadoop-env.sh)

a.$hadoop_home/etc/hadoop/core-site.xml

b.$hadoop_home/etc/hadoop/hdfs-site.xml

dfs.namenode.secondary.http-address

<a href="http://hadoop-slave2:50090">http://hadoop-slave2:50090</a>

c.$hadoop_home/etc/hadoop/slaves

2.配置yarn

a.yarn-site.xml

3.配置mapreduce

a.mapred-site.xml

======================================================================

拷貝hadoop到hadoop-slave1，slave2

========================================================================

啟動hadoop 叢集

1.在hadoop-master上首次初始格式化namenode節點

2.啟動hdfs叢集

3.啟動yarn叢集

4.啟動job-history server

5.各節點檢視運作狀态

===================================================================

end