天天看點

Linux虛拟機安裝hadoop

Windows系統安裝虛拟機

這裡安裝虛拟機使用VMvare虛拟機,下載下傳位址https://www.cr173.com/soft/32940.htm,下載下傳好以後安裝過程比較簡單,按照提示進行就可以。安裝好以後第一次運作需要輸入産品密鑰,可以百度擷取。

VMvare安裝Linux系統

這裡Linux系統我們CentOS 6.5.下載下傳位址:

百度網盤下載下傳:http://pan.baidu.com/s/1dD2DSLb

BT種子下載下傳:連結:https://pan.baidu.com/s/1et-ndPJ0UrMYl4P509tUAA提取碼:trs2

下載下傳好以後,使用VMvare安裝CentOS 6.5 參考以下兩篇文章:

參考文章1

參考文章2

在安裝過程中,使用了Xshell工具來遠端配置虛拟機,Xshell工具下載下傳位址:Xshell6下載下傳

Hadoop叢集部署安裝

Linux伺服器配置

可以通過遠端終端Xshell工具連接配接上虛拟機遠端控制

1.準備作業系統環境

配置主機名:修改以下配置檔案

vi /etc/sysconfig/network
           
Linux虛拟機安裝hadoop

這裡HOSTNAME的值就是主機名,我這裡修改為hadoop_server

配置主機名和IP位址的映射,執行以下指令;

vi /etc/hosts
           

進入檔案,添加IP位址和主機名

Linux虛拟機安裝hadoop

關閉伺服器圖形界面啟動:

vi /etc/inittab
           

然後将最下面一行啟動級别改為3,

Linux虛拟機安裝hadoop

關閉防火牆:

service iptables stop
           

禁止防火牆重新開機:

chkconfig iptables off
           

準備Java環境

1.安裝jdk

準備一個jdk安裝包,使用Xshell工具上傳到Linux伺服器。

上傳方法:

a.連接配接Linux主機。

b.輸入 rz 指令,檢視是否已經安裝lrzse,如果沒有,則使用

yum -y install lrzsz 指令進行安裝。

c.安裝成功以後,輸入rpm指令确認是否正确安裝。

Linux虛拟機安裝hadoop

d.使用rz -y 指令進行檔案上傳,此時會彈出上傳檔案的選擇框。

e.傳輸完成以後,檢視ls指令就可以看到檔案上傳到了目前目錄下。

2.jdk安裝包上傳好以後,建立一個解壓檔案夾apps:

mkdir /usr/local/apps
           

把壓縮包解壓到apps檔案夾:

3.配置環境變量

解壓好以後,開始配置環境變量:

vi /etc/profile
           

進入檔案以後,在末尾添加:

export JAVA_HOME=/usr/local/apps/jdkxxxx  //jdk安裝目錄
export PATH=$PATH:$JAVA_HOME/bin
           

添加好以後儲存,執行以下指令使其生效:

source /etc/profile
           

檢驗環境變量是否配置成功:

echo $JAVA_HOME
           

檢視輸出值是否正确。

安裝hadoop

1.上傳hadoop安裝包,并解壓:

2.修改配置檔案:

進入到hadoop檔案下 /etc/hadoop/目錄下:

Linux虛拟機安裝hadoop

開始修改配置檔案:

a.

vi hadoop-env.sh
           

修改JAVA_HOME路徑:

Linux虛拟機安裝hadoop

b.

vi core-site.xml
           

增加以下變量;

<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop-server:9000/</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/apps/hadoop-2.7.7/tmp/</value>
</property>
           

如圖:

Linux虛拟機安裝hadoop

c.

vi hdfs.site.xml
           

增加以下内容:

<property>
<name>dfs.replication</name>
<value>1</value>
</property>
           

d.修改mapred-site.xml.template檔案名,去掉.template

mv mapred-site.xml.template mapred-site.xml
           

然後進去該檔案,添加以下内容:

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
           

e.

vi yarn-site.xml
           

添加以下内容:

<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop-server</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
           

最後配置從節點:

vi salves
           

将檔案中的localhost修改為主機名。

啟動hadoop

1.格式化namenode

進入到hadoop檔案夾中的bin目錄下,執行以下操作:

./hadoop namenode -format
           

2.手動啟動hadoop

進入到hadoop檔案夾中的sbin目錄下,執行以下指令:

./hadoop-daemon.sh start namenode
           

啟動以後,使用 jps 指令檢視服務是否已經啟動。

再啟動DataNode服務程序:

./hadoop-daemon.sh start datanode
           

再啟動 secondarynamenode 服務程序

./hadoop-daemon.sh start secondarynamenode
           

可以使用 netstat -nltp 指令檢視監聽的端口

以上啟動了hdfs的服務程序,接下來啟動yarn的服務程序;

./yarn-daemon.sh start resourcemanager
           
./yarn-daemon.sh start nodemanager
           

3.使用腳本啟動hadoop

進入到hadoop檔案夾中的sbin目錄下,執行以下指令:

啟動hdfs服務:

./start-dfs.sh
           

啟動yarn服務:

./start-yarn.sh
           

直接全部啟動:

./start-all.sh
           

4.設定免密登入

在上步腳本啟動服務程序的時候,發現需要不停的輸入密碼,會很麻煩,需要設定一下免密登入。

在登入方生成秘鑰對:

ssh-keygen
           

接下來幾步預設回車

生成秘鑰對以後,把公鑰拷貝到目标主機:

ssh-copy-id hadoop-server
           

然後使用 ssh hadoop-server 登入目标主機就不再輸密碼。

5.停止服務

./stop-dfs.sh
           

全部停止:

./stop-all.sh