Hadoop簡單安裝配置

Hadoop開始設計以Linux平台為運作目标，是以這裡推薦在Linux發行版比如Ubuntu進行安裝，目前已經有Hadoop for Windows出來，大家自行搜下文章。

Hadoop運作模式分為單機、僞分布式、真實分布式三種，預設安裝到本地後是單機模式。

1. 安裝Jdk

Hadoop是用Java編寫的，是以需要先裝jdk，在oracle官網（http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html）下載下傳壓縮包後，放置到/opt目錄下，用如下指令解壓

sudo tar -xvf jdk-8u77-linux-x64.tar.gz      

加入環境變量JAVA_HOME和PATH

export JAVA_HOME=/opt/jdk1.8.0_77
export PATH=/opt/jdk1.8.0_77:${PATH}      

2. 下載下傳安裝Hadoop

在官網下載下傳，這裡下載下傳Hadoop-1.2.1版本為例子，下載下傳tar.gz壓縮包（https://archive.apache.org/dist/hadoop/common/hadoop-1.2.1/），同樣防止在/opt目錄下

如下指令解壓

sudo tar -xvf hadoop-1.2.1.tar.gz      

加入環境變量HADOOP_HOME和PATH

export HADOOP_HOME=/opt/hadoop-1.2.1
export PATH=/opt/hadoop-1.2.1/bin:${PATH}      

進入/opt/hadoop-1.2.1/conf目錄中，打開hadoop環境變量配置檔案hadoop-env.sh，解開JAVA_HOME并修改上自己的jdk目錄

如果需要将環境變量永久配置建議修改個人目錄下的Profile檔案：

sudo gedit ~/.bashrc      

并在末尾添加

export JAVA_HOME=/opt/jdk1.8.0_77

export PATH=$PATH:$JAVA_HOME/bin

export HADOOP_INSTALL=/opt/hadoop-1.2.1

export PATH=$PATH:$HADOOP_INSTALL/bin

export PATH=$PATH:$HADOOP_INSTALL/sbin

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_HDFS_HOME=$HADOOP_INSTALL

export YARN_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"      

3. 設定ssh免密碼登入

輸入以下指令聲明ssh秘鑰，整個過程都直接回車，不需要輸入任何密碼資訊

ssh-keygen      

最後會在你的個人目錄下的.ssh檔案夾中生成一個id_rsa.pub檔案，繼續執行下面指令将該秘鑰追加到authorized_keys中：

sudo cp /home/xxx/.ssh/id_rsa.pub /home/xxx/.ssh/authorized_keys      

這個時候執行下列指令看看是否能登陸

ssh localhost      

如果出現下列錯誤的話說明你本地沒有裝openssh-server

ssh: connect to host localhost port 22: Connection refused [closed]      

則安裝openssh-server

sudo apt-get install openssh-server      

如果出現下列提示，說明你要本地的openssh-client的版本已經過時，需要更新了

因為openssh-server是要依賴client的話，按照如上的截圖提示資訊，需要安裝對應的openssh-client版本：

sudo apt-get install openssh-client=1:5.3p1-3ubuntu3      

安裝完後，則可以安裝openssh-server了。随後啟動ssh服務，并檢視ssh服務是否啟動

這個時候ssh localhost就可以登入本地了

到此，本地Hadoop安裝完畢