Hadoop僞分布式安裝

1，下載下傳Hadoop安裝包到 /usr/local目錄下

2，解壓 

tar zxvf hadoop-2.6.0.tar.gz      

修改主機名和IP之間的映射：

vi /etc/hosts      

3,切到下圖目錄下：

/usr/local/hadoop-2.6.0/etc/hadoop

4，vi編輯hadoop-env.sh

vi hadoop-env.sh      

向其中插入該行  export JAVA_HOME=/usr/local/jdk1.8.0_91

5，vi編輯core-site.xml

vi core-site.xml      

向其中插入代碼（不包括configuration）：

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://xxxxxx:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/hadoop-2.6.0/tmp</value>
        </property>
        <property>
                 <name>fs.trash.interval</name>
                 <value>1440</value>
        </property>
</configuration>      

如圖：（記得将文中的*****改成你的主機名）

5，vi編輯yarn-site.xml檔案

vi yarn-site.xml      

向其中插入如下代碼：（不包括configuration）

<configuration>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>  
                <name>yarn.log-aggregation-enable</name>  
                <value>true</value>  
        </property>
</configuration>      

6，vi編輯hdfs-site.xml

vi hdfs-site.xml      

在其中插入：（同上不包括configuration）

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>      

如下圖：

7，檔案重命名：

mv mapred-site.xml.template mapred-site.xml      

8，啟動格式化

bin/hdfs namenode -format      

格式化操作不可重複，若要重複則需要在後面添加 -force強制執行

9，之前的ssh免密登入失敗了，發現每登入一個節點的時候還是需要驗證密碼，是以，免密登入重新來解決

ssh-keygen -t rsa
ssh-copy-id -i Ubuntu-1      

後面是你的主機名稱，如下圖

再登入時已經不需要驗證密碼了，至于為什麼之前那個辦法在xshell上的免密是有用的，在這裡登入的時候卻沒用，原因我還沒有弄清楚

10，登入指令

sbin/start-all.sh      

在登入的時候遇到了一個問題，分别登入datanode和namenode的時候，後面登入的那個總是能登入上去，前面那個就無法登入了，後來找了好多解決的辦法，最後找到下圖問題才得到了解決：

解決後如下圖：

11，關閉程序

sbin/stop-all.sh      

--------------------------------------------------------

下面是單獨啟動程序的指令

//啟動hdfs
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
//啟動yarn
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager      

 ---------------------------------------------------------------------------------------------

最後的最後，

應該将hadoop的path加到系統配置檔案中，否則執行指令時會報錯

vi /etc/profile      

在profile檔案中插入

export PATH=$PATH:$/usr/local/hadoop-2.6.0/bin:$PATH      

 如圖：

再執行：

source /etc/profile      

将檔案進行重載就可以了。