天天看点

大数据——克隆主机并配置集群

上个文章搭建了一个Hadoop主机,我们用该主机进行主机克隆

利用VMware的克隆功能,克隆出<code>hadoop102</code>、<code>hadoop103</code>、<code>hadoop104</code>三台主机

克隆完成后,记得修改文件(<code>root</code>用户下)

在主机<code>hadoop102</code>中安装JDK

上传jdk到<code>/opt/software</code>文件夹中

配置jdk环境变量

系统启动时会加载<code>/etc/profile.d/</code>中的所有<code>.sh</code>文件

新建文件<code>my_env.sh</code>

保存退出后,刷新环境

检查是否安装成功

上传hadoop到<code>/opt/software</code>文件夹中

配置环境变量

编写集群分发脚本,递归复制到目的主机

主机和IP做过映射关系:<code>swcode@IP/主机</code>
下面是三种拷贝方式,使用哪一种都可以

在<code>hadoop102</code>上使用<code>scp</code>拷贝

在<code>hadoop103</code>上使用<code>scp</code>拉取

在<code>hadoop103</code>上使用<code>scp</code>将<code>hadoop102</code>拷贝到<code>hadoop104</code>

1、安装(<code>root</code>用户下)

2、编写脚本<code>xsync</code>,放到<code>~/bin</code>下即可使用,别忘了<code>chomd</code>执行权限(<code>swcode</code>用户下)

3、同步环境(<code>root</code>用户下)

在拷贝时需要输入很多次密码,为了方便使用,需要配置主机之间的免密登录

在<code>hadoop102</code>中配置(<code>swcode</code>用户下)

三次回车后,我们将公钥复制到免密登录的主机

同理,配置<code>hadoop103</code>、<code>hadoop104</code>,三台主机之间互相登录都是免密的

如果需要配置<code>root</code>用户之间的免密,需要切换到<code>root</code>用户,重复上述操作

下篇文章:配置并启动集群/开启历史服务器和日志聚集

所有文章:

搭建第一台Hadoop主机

Linux之间的文件传输方式

克隆主机并配置集群

配置并启动集群/开启历史服务器和日志聚集

本文来自博客园,作者:sw-code,转载请注明原文链接:https://www.cnblogs.com/sw-code/p/15558029.html