Hadoop的僞分布式安裝詳細步驟

1. 安裝JDK

2. 關閉防火牆

   service iptables stop

   chkconfig iptables off

3. 關閉雲主機的開機初始化

   service cloud-init stop

   chkconfig cloud-init off

   service cloud-init-local stop

   chkconfig cloud-init-local off

4. 修改主機名

   vim /etc/sysconfig/network

   修改HOSTNAME的值，例如将HOSTNAME修改為hadoop01

   改完之後，儲存退出，重新生效

   source /etc/sysconfig/network

5. 将主機名和IP進行映射

   vim /etc/hosts

   添加IP 主機名

   儲存退出

6. 重新開機

   reboot

7. 免密登入

   産生密鑰：ssh-keygen — 一路回車，不需要輸入任何資料

   拷貝公鑰：ssh-copy-id [email protected]

   測試：ssh hadoop01 回車之後如果不需要任何密碼，說明免密成功，那麼輸入logout

8. 下載下傳Hadoop的安裝包

   cd /home/software/

   wget http://bj-yzjd.ufile.cn-north-02.ucloud.cn/hadoop-2.7.5.tar.gz

9. 解壓

   tar -xvf hadoop-2.7.5.tar.gz

10. 進入子目錄

    cd hadoop-2.7.5/etc/hadoop/

11. 編輯

    vim hadoop-env.sh

    修改屬性

    export JAVA_HOME=/home/presoftware/jdk1.8

    export HADOOP_CONF_DIR=/home/software/hadoop-2.7.5/etc/hadoop

    儲存退出，重新生效

    source hadoop-env.sh

12. 編輯

    vim core-site.xml

    添加

    fs.defaultFS

    hdfs://hadoop01:9000

    hadoop.tmp.dir

    /home/software/hadoop-2.7.5/tmp

    儲存退出

13. 編輯

    vim hdfs-site.xml

    添加

    dfs.replication

    1

    儲存退出

14. 編輯

    cp mapred-site.xml.template mapred-site.xml

    vim mapred-site.xml

    添加

    mapreduce.framework.name

    yarn

    儲存退出

15. 編輯

    vim yarn-site.xml

    添加

    yarn.resourcemanager.hostname

    hadoop01

    yarn.nodemanager.aux-services

    mapreduce_shuffle

    儲存退出

16. 編輯

    vim slaves

    删除localhost，添加目前的主機名

    儲存退出

17. 修改環境變量

    vim /etc/profile

    在檔案尾部追加

    export HADOOP_HOME=/home/software/hadoop-2.7.5

    export PATH= P A T H : PATH: PATH:HADOOP_HOME/bin:$HADOOP_HOME/sbin

    儲存退出，重新生效

    source /etc/profile

18. 格式化Hadoop

    hadoop namenode -format

    如果出現Storage directory /home/software/hadoop-2.7.5/tmp/dfs/name has been successfully formatted表示格式化成功

19. 啟動Hadoop

    start-all.sh

20. 通過jps檢視程序

    Jps

    NameNode 端口：50070

    DataNode 端口：50075

    SecondaryNameNode 端口：50090

    ResourceManager 端口：8088

    NodeManager

常見錯誤：

1. 如果出現Name or Service not known或者Unknown Host，那麼說明主機名配置錯誤，檢查/etc/hosts檔案

2. 如果出現Command not found，那麼說明環境變量配置錯誤，或者配置完成之後沒有source

3. 如果缺少了NameNode/DataNode/SecondaryNameNode，那麼檢查core-site.xml/hdfs-site.xml是否配置正确

4. 如果缺少了ResourceManager/NodeManager，那麼檢查mapred-site.xml/yarn-site.xml是否配置正确