天天看點

搭建hadoop叢集前期準備一、搭建六台虛拟機二、配置網絡三、配置ssh互信四、關閉防火牆五、關閉selinux六、修改主機名七、安裝jdk八、重新開機機器

六台虛拟機一台作為主節點,4台作為從節點,一台作為客戶機

1. 打開VMware菜單欄的編輯頁籤,打開虛拟網絡編輯器

搭建hadoop叢集前期準備一、搭建六台虛拟機二、配置網絡三、配置ssh互信四、關閉防火牆五、關閉selinux六、修改主機名七、安裝jdk八、重新開機機器

2.檢視VMnet8的資訊,網絡類型選擇NET模式,檢視子網IP(測試機):192.168.120.

DHCP選擇框全部選中

搭建hadoop叢集前期準備一、搭建六台虛拟機二、配置網絡三、配置ssh互信四、關閉防火牆五、關閉selinux六、修改主機名七、安裝jdk八、重新開機機器

3.配置/etc/sysconfig/network-scripts/ifcfg-ens33

配置檔案編寫如下(以master節點為例):

搭建hadoop叢集前期準備一、搭建六台虛拟機二、配置網絡三、配置ssh互信四、關閉防火牆五、關閉selinux六、修改主機名七、安裝jdk八、重新開機機器

4.儲存檔案,重新開機網卡,systemctl resatrt network.service。嘗試ping通叢集和外網。

搭建hadoop叢集前期準備一、搭建六台虛拟機二、配置網絡三、配置ssh互信四、關閉防火牆五、關閉selinux六、修改主機名七、安裝jdk八、重新開機機器

5.其他節點同理

1.設定使用者檔案,打開/etc/hosts。加入叢集的ip位址和主機名(起的名字,和hostname不一定一樣)

搭建hadoop叢集前期準備一、搭建六台虛拟機二、配置網絡三、配置ssh互信四、關閉防火牆五、關閉selinux六、修改主機名七、安裝jdk八、重新開機機器

儲存退出

2.建立循環變量a.txt,用for循環講hosts檔案拷貝到叢集其他機器上。

<b>for x in `cat ~/a.txt`; do echo $x;scp /etc/hosts $x:/etc/hosts;done;</b>

注:普及一下scp指令。例如:scp -r /root/tools/hadoop-2.7.4.tar.gz root@slave2:/root/tools/。-r 表示遞歸調用,拷貝目錄以及子目錄。後面接上需要拷貝的目錄。在後面是傳出機器的使用者名。@主機名。傳出目錄。

3.擷取master的密鑰 <b>ssh-keygen</b>

設定免密登陸,即密碼為空,直接回車即可。

4.将master擷取的公鑰傳給從節點 <b>ssh-copy-id slave1</b>(裝置名)

5.用<b>ssh 裝置名</b> 檢測是否可以ssh遠端登陸

1、關閉防火牆(重新開機後恢複):<b>systemctl stop firewalld.service</b>

2、禁止防火牆開機啟動:<b>systemctl disable firewalld.service</b>

1、臨時關閉(不用重新開機):<b>setenforce 0</b>

2、永久關閉(需要重新開機生效):編輯/etc/selinux/config檔案

将SELINUX=enforcing改為SELINUX=disabled

搭建hadoop叢集前期準備一、搭建六台虛拟機二、配置網絡三、配置ssh互信四、關閉防火牆五、關閉selinux六、修改主機名七、安裝jdk八、重新開機機器

3、檢視selinux狀态:

[root@master ~]# getenforce

Permissive

4、修改所有節點的selinux

1、檢視主機名:<b>hostname</b>

2、更改主機名:<b>hostnamectl set-hostname 主機名</b>

1、檢視目前的openjdk資訊:<b>rpm -qa|grep openjdk</b>

2、删除所有openjdk:<b>rpm -e --nodeps XXX</b>

3、下載下傳rpm包(也可用for循環統一拷貝)

4、安裝jdk:<b>rpm -ivh jdk-8u101-linux-x64.rpm </b>

5、檢視jdk路徑(預設路徑在/usr/java中):<b>find / -name java*</b>

6、配置環境變量(按照自己的jdk版本配置):vim /etc/profile

<b>JAVA_HOME=/usr/java/jdk1.8.0_101/</b>

export JRE_HOME=/usr/java/jdk1.8.0_101//jre

export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib

7、檢視jdk是否安裝成功,版本一緻則安裝成功:java -version

8、從節點同理配置

ps:第一次寫部落格,有點小激動,如有錯誤,還請多多指正QAQ