三台云服务器搭建hadoop集群

hadoop-2.10.1百度云资源链接：

链接：https://pan.baidu.com/s/1agl2Cg8MrBSYyFM2vq_4GA

提取码：lbsm

上传hadoop压缩包至云服务器并解压

通过Xftp7将hadoop压缩包放到云服务器上

输入命令：

[root@master ~]# tar -xzvf /root/hadoop-2.10.1.tar.gz
           

跳转目录

[root@master ~]# cd /root/hadoop-2.10.1/etc/hadoop
           

配置hadoop-env.sh文件

[root@master hadoop]# vim hadoop-env.sh
           

找到下面这段

修改紫色部分，改为jdk路径，如图

配置yarn-env.sh文件

[root@master hadoop]# vim yarn-env.sh
           

找到下面段代码

去除方框前面的#，并将路径修改为jdk路径，如图

配置core-site.xml文件

[root@master hadoop]# vim core-site.xml
           

添加以下代码

<!--指定namenode的地址-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<!--用来指定使用hadoop时产生文件的存放目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/root/hadoopdata</value>
</property>
           

结果如图

配置hdfs-site.xml文件

[root@master hadoop]# vim hdfs-site.xml
           

添加以下代码

<!--指定hdfs保存数据的数量-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
           

结果如图

配置yarn-site.xml文件

[root@master hadoop]# vim yarn-site.xml
           

添加以下代码

<!--namenodeManager获取数据的方式是shuffle-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!--指定Yarn中ResourceManager的地址-->
<property>
<name>yarn.resourcemanager.address</name>
<value>master:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:18030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:18025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:18141</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:18088</value>
</property>
           

结果如图

配置mapred-site.xml文件

[root@master hadoop]# cp mapred-site.xml.template mapred-site.xml
[root@master hadoop]# vim mapred-site.xml
           

添加以下代码

<!--指定MR(Map/Reduce)运行在Yarn上-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
           

结果如图

配置另外两台服务器

将master配置好的文件复制到另外两台服务器。

在master节点配置slave文件

[root@master hadoop]# vim slaves
           

用另外两台服务器的主机名替换文件中的内容

slave1
slave2
           

三台服务器配置hadoop系统环境变量

[root@master hadoop]# cd /root
[root@master ~]# vim ~/.bash_profile
           

添加以下内容之文件最后

#HADOOP
export HADOOP_HOME=/root/hadoop-2.10.1
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
           

结果如图

在三台服务器上创建数据目录

[root@master ~]# mkdir /root/hadoopdata
           

格式化系统文件

在master服务器下输入以下代码

[root@master ~]# hdfs namenode -format
           

启动hadoop集群

[root@master ~]# cd /root/hadoop-2.10.1
[root@master hadoop-2.10.1]# sbin/start-all.sh
           

查看进程

master执行jps命令结果

slave1和slave2执行jps命令的结果

浏览器查看集群是否启动成功

浏览器输入：{master公网ip：端口号}查看是否成功

端口号

50070

18088

如果上述验证都没有问题，说明集群正常启动。