前提準備
1）阿裡雲ECS伺服器Centos7.5
2）Xshell或者其他和Linux互動的軟體（本文用的Bitvise SSH軟體）
我用的是Bitvise SSH
Bitvise SSH下載下傳
Bitvise SSH使用 裡面有講SSH軟體怎麼用
3）最好會vim操作（不會也沒問題）
不會的用軟體把需要修改的檔案下載下傳下到本地修改完畢後在上傳回去覆寫原來的檔案
4）hadoop-x.x.x.tar.gz
我用的是 hadoop-2.7.2.tar.gz 下載下傳2.7.2連結
5）一顆想着快照的心，一顆想着快照的心，一顆想着快照的心
搭建細節介紹
打算搭建之前請先快照一下
打算搭建之前請先快照一下
打算搭建之前請先快照一下
注意是在哪個路徑下進行一些操作
hadoop我安裝在 /opt/module 檔案下
我使用的是root使用者
如果你發現沒有某某檔案，就是你目前在的路徑不是對
寫的優點啰嗦，請注意閱讀
搭建流程
将ECS伺服器快照一下
建立快照
復原快照
用SSH軟體和ECS伺服器建立連接配接
（無法用語言表達）
安裝寶塔界面（寶塔面闆和Linux就和應用寶和手機的關系）
寶塔面闆官網 在官網最下面有各種Linux系統安裝寶塔的代碼
yum install -y wget && wget -O install.sh http://download.bt.cn/install/install_6.0.sh && sh install.sh 中間有問你是否yes or no,安裝要求輸入yes或者y
到下面就顯示成功了，記住下面的url，賬号，密碼
把上面的url打開并且輸入賬号密碼就出現下面的圖
在箭頭處可以修改賬号密碼
安裝jdk并且配置環境變量
選擇安裝tomcat就安裝好JDK了
jdk預設安裝的路徑是下圖
修改/etc/profile檔案，在最後，最後，最後加上下面的的java_home配置
通過vim操作或者把檔案下載下傳下來修改在上傳覆寫
#JAVA_HOME
export JAVA_HOME=/usr/java/jdk1.8.0_121
export PATH=$PATH:$JAVA_HOME/bin 讓修改後的檔案生效
[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# source /etc/profile 檢視JDK是否安裝成功
java -version 安裝hadoop并且配置環境變量
進入 /opt/ 下建立兩個檔案夾
[root@iZm5ea99qngm2v98asii1aZ opt]# cd /opt/
[root@iZm5ea99qngm2v98asii1aZ opt]# mkdir software
[root@iZm5ea99qngm2v98asii1aZ opt]# mkdir module
[root@iZm5ea99qngm2v98asii1aZ opt]# 用軟體将hadoop-2.7.2.tar.gz檔案上傳到 /opt/software/ 下
[root@iZm5ea99qngm2v98asii1aZ opt]# pwd
/opt
[root@iZm5ea99qngm2v98asii1aZ opt]# cd software/
[root@iZm5ea99qngm2v98asii1aZ software]# ls
hadoop-2.7.2.tar.gz
[root@iZm5ea99qngm2v98asii1aZ software]# 将壓縮包解壓到 /opt/module/ 下
tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/ 擷取hadoop安裝路徑 /opt/module/hadoop=2.7.2
[root@iZm5ea99qngm2v98asii1aZ module]# cd /opt/module/hadoop-2.7.2/
[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# pwd
/opt/module/hadoop-2.7.2
[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# 配置hadoop環境變量（修改 /etc/profile）(在最後加，和上面的配置JAVA_HOME一樣)
可以vim操作，可以将檔案下載下傳到本地修改完後在上傳覆寫原來的檔案
##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin 讓修改後的檔案生效
[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# source /etc/profile 檢視hadoop是否安裝成功
[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# hadoop 僞分布式運作模式
修改hadoop的配置檔案
修改/opt/module/hadoop-2.7.2/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_121 修改/opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml
注意：hdfs://abcdefg:9000 abcdefg處填寫你的如下圖部分
<!-- 指定HDFS中NameNode的位址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://iZm5ea99qngm2v98asii1aZ:9000</value>
</property>
<!-- 指定Hadoop運作時産生檔案的存儲目錄 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property> 修改/opt/module/hadoop-2.7.2/etc/hadoop/hdfs-site.xml
<!-- 指定HDFS副本的數量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property> 啟動叢集
進入/opt/module/hadoop-2.7.2目錄
[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# cd /opt/module/hadoop-2.7.2 格式化NameNode（第一次啟動時格式化，以後就不要格式化）
[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# bin/hdfs namenode -format 啟動NameNode
[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# sbin/hadoop-daemon.sh start namenode 啟動DateNode
[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# sbin/hadoop-daemon.sh start datanode 檢視是否啟動成功
[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# jps web端檢視HDFS檔案系統
1開放端口9000,50070
見下面常見問題
2 通路url
http://你的IP位址:50070/dfshealth.html#tab-overview
到這裡ECS搭建hadoop僞分布式已經搭建完畢
配置并啟動YARN
前提：
修改配置檔案
修改/opt/module/hadoop-2.7.2/etc/hadoop/yarn-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_121 修改前
修改後
修改/opt/module/hadoop-2.7.2/etc/hadoop/yarn-site.xml
注意：第二value值是
<!-- Reducer擷取資料的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的位址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>iZm5ea99qngm2v98asii1aZ</value>
</property> 修改/opt/module/hadoop-2.7.2/etc/hadoop/mapred-env.sh
修改JAVA_HOME和上面修改操作一緻，不在重複
修改/opt/module/hadoop-2.7.2/etc/hadoop/mapred-site.xml（敲黑闆）
1）将mapred-site.xml.template重新命名為mapred-site.xml
進入 /opt/module/hadoop-2.7.2/etc/hadoop
[root@iZm5ea99qngm2v98asii1aZ hadoop]# cd /opt/module/hadoop-2.7.2/etc/hadoop 對檔案重命名
[root@iZm5ea99qngm2v98asii1aZ hadoop]# mv mapred-site.xml.template mapred-site.xml 2）修改配置檔案mapred-site.xml
<!-- 指定MR運作在YARN上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property> 修改後如圖所示
啟動叢集
啟動前必須保證NameNode和DataNode已經啟動
傳回到/opt/module/hadoop-2.7.2目錄下
[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# cd /opt/module/hadoop-2.7.2 啟動ResourceManager
[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# sbin/yarn-daemon.sh start resourcemanager 啟動NodeManager
[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# sbin/yarn-daemon.sh start nodemanager 開放8088端口
操作見最後常見問題
YARN的浏覽器頁面檢視
http://你的IP:8088/cluster
配置曆史伺服器
修改/opt/module/hadoop-2.7.2/etc/hadoop/mapred-site.xml
<!-- 曆史伺服器端位址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>iZm5ea99qngm2v98asii1aZ:10020</value>
</property>
<!-- 曆史伺服器web端位址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>iZm5ea99qngm2v98asii1aZ:19888</value>
</property> 啟動曆史伺服器
注意： 在 /opt/module/hadoop-2.7.2 下
[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# sbin/mr-jobhistory-daemon.sh start historyserver 開放19888端口
見下面常見問題
檢視JobHistory
http://你的IP:19888/jobhistory
編寫啟動腳本
cd /opt/module/hadoop-2.7.2
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
sbin/mr-jobhistory-daemon.sh start historyserver 常見問題
忘記ECS伺服器密碼
更多--》修改密碼
開放端口（兩處都要修改）
1 在阿裡雲界面修改安全組開放端口