天天看点

hadoop2.7.1分布式集群搭建图解

引言

网上有很多hadoop分布式部署的步骤和方法,但对于新手来说,搭建这样一套分布式环境,并不能对整个集群环境有一个整体的结构认识,因此本文以图解的方式解释下我们搭建hadoop分布式环境都要做哪些工作

第一步,配置主机名

Namenode节点对应的主机名为master

Datanode节点对应的主机名分别为node1、node2

分别配置master、node1和node2等机器的主机名

hadoop2.7.1分布式集群搭建图解

这些步骤作用很关键,如果配置不成功,进行分布式计算的时候有可能找不到主机名

第二步,配置主机互信

master能通过SSH免密码登录两个子结点

hadoop2.7.1分布式集群搭建图解

具体配置步骤,可以参考:hadoop2.7完全分布式集群搭建以及任务测试 这篇博文中的“安装SSH,并让master免验证登陆自身服务器、节点服务器”章节

第三步,配置master节点

hadoop2.7.1分布式集群搭建图解

第四步,同步master节点的程序和配置文件到各datanode

hadoop2.7.1分布式集群搭建图解

第五步,格式化namenode

在master节点上执行如下命令:

第六步,启动/停止hadoop

主结点master上进行操作:

启动,执行完成后,master、node1和node2等节点的hadoop进程都会启动:

hadoop2.7.1分布式集群搭建图解

停止,执行完成后,master、node1和node2等节点的hadoop进程都会停止:

sh /usr/local/hadoop/hadoop-/sbin/stop-all.sh
           
hadoop2.7.1分布式集群搭建图解

第七步,查看hadoop状态

master:

hadoop2.7.1分布式集群搭建图解

node1:

hadoop2.7.1分布式集群搭建图解

node2:

hadoop2.7.1分布式集群搭建图解

至此,部署完成!

本文主要是通过图解的方式说明整个部署的流程,初学者可以有个整体的认识和把握,

详细的部署方法,可以参考:hadoop2.7完全分布式集群搭建以及任务测试