Windows系統安裝虛拟機
這裡安裝虛拟機使用VMvare虛拟機,下載下傳位址https://www.cr173.com/soft/32940.htm,下載下傳好以後安裝過程比較簡單,按照提示進行就可以。安裝好以後第一次運作需要輸入産品密鑰,可以百度擷取。
VMvare安裝Linux系統
這裡Linux系統我們CentOS 6.5.下載下傳位址:
百度網盤下載下傳:http://pan.baidu.com/s/1dD2DSLb
BT種子下載下傳:連結:https://pan.baidu.com/s/1et-ndPJ0UrMYl4P509tUAA提取碼:trs2
下載下傳好以後,使用VMvare安裝CentOS 6.5 參考以下兩篇文章:
參考文章1
參考文章2
在安裝過程中,使用了Xshell工具來遠端配置虛拟機,Xshell工具下載下傳位址:Xshell6下載下傳
Hadoop叢集部署安裝
Linux伺服器配置
可以通過遠端終端Xshell工具連接配接上虛拟機遠端控制
1.準備作業系統環境
配置主機名:修改以下配置檔案
vi /etc/sysconfig/network

這裡HOSTNAME的值就是主機名,我這裡修改為hadoop_server
配置主機名和IP位址的映射,執行以下指令;
vi /etc/hosts
進入檔案,添加IP位址和主機名
關閉伺服器圖形界面啟動:
vi /etc/inittab
然後将最下面一行啟動級别改為3,
關閉防火牆:
service iptables stop
禁止防火牆重新開機:
chkconfig iptables off
準備Java環境
1.安裝jdk
準備一個jdk安裝包,使用Xshell工具上傳到Linux伺服器。
上傳方法:
a.連接配接Linux主機。
b.輸入 rz 指令,檢視是否已經安裝lrzse,如果沒有,則使用
yum -y install lrzsz 指令進行安裝。
c.安裝成功以後,輸入rpm指令确認是否正确安裝。
d.使用rz -y 指令進行檔案上傳,此時會彈出上傳檔案的選擇框。
e.傳輸完成以後,檢視ls指令就可以看到檔案上傳到了目前目錄下。
2.jdk安裝包上傳好以後,建立一個解壓檔案夾apps:
mkdir /usr/local/apps
把壓縮包解壓到apps檔案夾:
3.配置環境變量
解壓好以後,開始配置環境變量:
vi /etc/profile
進入檔案以後,在末尾添加:
export JAVA_HOME=/usr/local/apps/jdkxxxx //jdk安裝目錄
export PATH=$PATH:$JAVA_HOME/bin
添加好以後儲存,執行以下指令使其生效:
source /etc/profile
檢驗環境變量是否配置成功:
echo $JAVA_HOME
檢視輸出值是否正确。
安裝hadoop
1.上傳hadoop安裝包,并解壓:
2.修改配置檔案:
進入到hadoop檔案下 /etc/hadoop/目錄下:
開始修改配置檔案:
a.
vi hadoop-env.sh
修改JAVA_HOME路徑:
b.
vi core-site.xml
增加以下變量;
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop-server:9000/</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/apps/hadoop-2.7.7/tmp/</value>
</property>
如圖:
c.
vi hdfs.site.xml
增加以下内容:
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
d.修改mapred-site.xml.template檔案名,去掉.template
mv mapred-site.xml.template mapred-site.xml
然後進去該檔案,添加以下内容:
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
e.
vi yarn-site.xml
添加以下内容:
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop-server</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
最後配置從節點:
vi salves
将檔案中的localhost修改為主機名。
啟動hadoop
1.格式化namenode
進入到hadoop檔案夾中的bin目錄下,執行以下操作:
./hadoop namenode -format
2.手動啟動hadoop
進入到hadoop檔案夾中的sbin目錄下,執行以下指令:
./hadoop-daemon.sh start namenode
啟動以後,使用 jps 指令檢視服務是否已經啟動。
再啟動DataNode服務程序:
./hadoop-daemon.sh start datanode
再啟動 secondarynamenode 服務程序
./hadoop-daemon.sh start secondarynamenode
可以使用 netstat -nltp 指令檢視監聽的端口
以上啟動了hdfs的服務程序,接下來啟動yarn的服務程序;
./yarn-daemon.sh start resourcemanager
./yarn-daemon.sh start nodemanager
3.使用腳本啟動hadoop
進入到hadoop檔案夾中的sbin目錄下,執行以下指令:
啟動hdfs服務:
./start-dfs.sh
啟動yarn服務:
./start-yarn.sh
直接全部啟動:
./start-all.sh
4.設定免密登入
在上步腳本啟動服務程序的時候,發現需要不停的輸入密碼,會很麻煩,需要設定一下免密登入。
在登入方生成秘鑰對:
ssh-keygen
接下來幾步預設回車
生成秘鑰對以後,把公鑰拷貝到目标主機:
ssh-copy-id hadoop-server
然後使用 ssh hadoop-server 登入目标主機就不再輸密碼。
5.停止服務
./stop-dfs.sh
全部停止:
./stop-all.sh