大資料——克隆主機并配置叢集

上個文章搭建了一個Hadoop主機，我們用該主機進行主機克隆

利用VMware的克隆功能，克隆出<code>hadoop102</code>、<code>hadoop103</code>、<code>hadoop104</code>三台主機

克隆完成後，記得修改檔案（<code>root</code>使用者下）

在主機<code>hadoop102</code>中安裝JDK

上傳jdk到<code>/opt/software</code>檔案夾中

配置jdk環境變量

系統啟動時會加載<code>/etc/profile.d/</code>中的所有<code>.sh</code>檔案

建立檔案<code>my_env.sh</code>

儲存退出後，重新整理環境

檢查是否安裝成功

上傳hadoop到<code>/opt/software</code>檔案夾中

配置環境變量

編寫叢集分發腳本，遞歸複制到目的主機

主機和IP做過映射關系：<code>swcode@IP/主機</code>

下面是三種拷貝方式，使用哪一種都可以

在<code>hadoop102</code>上使用<code>scp</code>拷貝

在<code>hadoop103</code>上使用<code>scp</code>拉取

在<code>hadoop103</code>上使用<code>scp</code>将<code>hadoop102</code>拷貝到<code>hadoop104</code>

1、安裝（<code>root</code>使用者下）

2、編寫腳本<code>xsync</code>，放到<code>~/bin</code>下即可使用，别忘了<code>chomd</code>執行權限（<code>swcode</code>使用者下）

3、同步環境（<code>root</code>使用者下）

在拷貝時需要輸入很多次密碼，為了友善使用，需要配置主機之間的免密登入

在<code>hadoop102</code>中配置（<code>swcode</code>使用者下）

三次回車後，我們将公鑰複制到免密登入的主機

同理，配置<code>hadoop103</code>、<code>hadoop104</code>，三台主機之間互相登入都是免密的

如果需要配置<code>root</code>使用者之間的免密，需要切換到<code>root</code>使用者，重複上述操作

下篇文章：配置并啟動叢集/開啟曆史伺服器和日志聚集

所有文章：

搭建第一台Hadoop主機

Linux之間的檔案傳輸方式

克隆主機并配置叢集

配置并啟動叢集/開啟曆史伺服器和日志聚集

本文來自部落格園，作者：sw-code，轉載請注明原文連結：https://www.cnblogs.com/sw-code/p/15558029.html