hadoop叢集搭建詳解讀

1.準備linux環境

1.0将虛拟機的網絡模式選為NAT

        1.1修改主機名

             vi /etc/hosts

             demo1

        1.2修改IP

           修改配置檔案方式

vi /etc/sysconfig/network-scripts/ifcfg-eth33

DEVICE="eth33"

BOOTPROTO="static"               ###

HWADDR="00:0C:29:3C:BF:E7"

IPV6INIT="yes"

NM_CONTROLLED="yes"

ONBOOT="yes"

TYPE="Ethernet"

UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"

IPADDR="192.168.222.136"           ###新添加IP

NETMASK="255.255.255.0"          ###子網路遮罩

GATEWAY="192.168.1.1"            ###網關

1.3修改主機名和IP的映射關系

                       vi /etc/hosts

192.168.222.136  demo1

192.168.222.137  demo2

192.168.222.138  demo3

1.4關閉防火牆

#檢視防火牆狀态

systemctl status firewalld  或者 service iptables status

        #關閉防火牆

service iptables stop(建議使用，不會開啟自啟防火牆)或systemctl stop firewalld(重新開機虛拟機将開啟防火強)

      #檢視防火牆開機狀态

     1.5 修改sudo

    su  root

vi   /etc/sudoers  給hadoop使用者添加執行權限

#重新開機linux

2.安轉jdk

2.1利用xftp工具上傳自己下載下傳好的jdk

2.1解壓jdk

tar -zxvf     jdk-8u141-linux-x64.tar   -C  /usr/local/

2.3将java添加到環境變量中

#此處有兩種方法

#第一種方法 

        2.3.1  vi /etc/profile

#在檔案最後添加

export JAVA_HOME=/usr/local/jdk1.8.0_141

export PATH=$PATH:$JAVA_HOME/bin

                #重新整理配置

source  /etc/profile

#第二種方法

2.3.2 利用alterbatives 來搭建java環境，分别執行下面三條指令

alternatives --install /usr/bin/java java /usr/local/jdk1.8.0_141/bin/java 2

alternatives --set java /usr/local/jdk1.8.0_141/bin/java

alternatives –config java

3.安裝 hadoop 2.7.3

将hadoop2.7.3 安裝到 /usr/local/ 目錄下

3.1配置hadoop 進入hadoop-2.7.3下的etc目錄下的hadoop 需要修改六個配置檔案

第一個：vi hadoop-env.sh

#第25行到30行左右

 export JAVA_HOME =/usr/local/jdk1.8.0_141

第二個：vi core-site.xml

<!-- 指定HADOOP所使用的檔案系統schema（URI），HDFS的老大（NameNode）的位址 -->

<property>

<name>fs.defaultFS</name>

<value>hdfs://demo1:9000</value>

</property>

<!-- 指定hadoop運作時産生檔案的存儲目錄 -->

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/hadoop-2.7.3/dfs</value>

    </property>

第三個：vi hdfs-site.xml

<!-- 指定HDFS副本的數量 -->

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

<!--指定  secondarynamenode  -->

<property>

<name>dfs.secondary.http.address</name>

<value>demo2:50090</value>

</property>

第四個：mv mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

<!-- 指定mr運作在yarn上 -->

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

第五個 vi yarn-site.xml

<property>

<name>yarn.resourcemanager.hostname</name>

<value>demo1</value>

</property>

<!-- reducer擷取資料的方式 -->

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

第六個  vi salves

添加：demo1

demo2

demo3

3.2  将hadoop添加到環境變量

         vi /etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0_141

export HADOOP_HOME=/usr/local/hadoop-2.7.3

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source  /etc/profile

4：修改 hadoop-2.7.3目錄的權限

chown -R hadoop：hadoop  hadoop-2.7.3

5：配置ssh免密登入

demo1-->demo 2 , demo3

ssh-keygen -t rsa

ssh-copy-id -i ~/.ssh/id_rsa.pub  [email protected]

ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected]

        6:将/usr/local/hadoop2.7.3  和jdk分别拷貝到demo2,demo3上

7：配置demo2，demo3上的環境變量 與demo1環境變量一緻即可

       8：格式化namenode（對namenode進行初始化）

  hdfs  namenode -format (hadoop namenode -format)

      8.1 啟動hadoop

先啟動HDFS

sbin/start-dfs.sh

                再啟動YARN

  sbin/start-yarn.sh

      8.2 驗證是否成功

使用jps指令驗證 檢視程序

8.3http://ip:50070（HDFS管理界面）

              http://ip:8088(MR管理界面）