啃掉Hadoop系列筆記(04)-Hadoop運作模式之僞分布式模式

    僞分布式模式等同于完全分布式，隻是她隻有一個節點。

一） HDFS上運作MapReduce 程式

（1）配置叢集

　　（a）配置：hadoop-env.sh

　　　　Linux系統中擷取jdk的安裝路徑：

　　　　修改JAVA_HOME 路徑：

　　（b）配置：core-site.xml

　　　　原始該檔案内容

　　　　配置後該檔案内容

　　（c）配置：hdfs-site.xml

　　　　該檔案原始内容

　　　　配置後該檔案内容

（2）啟動叢集

　　（a）格式化namenode（第一次啟動時格式化，以後就不要總格式化）

　　（b）啟動namenode

　　（c）啟動datanode

（3）檢視叢集

　　（a）檢視是否啟動成功

　　（b）檢視産生的log日志

　　（c）web端檢視HDFS檔案系統

　　　　在浏覽器中輸入 http://192.168.47.101:50070/

　　　　至此一個Hadoop的僞分布模式即搭建完成

（4）操作叢集

　　（a）在hdfs檔案系統上建立一個input檔案夾

　　　　進入Web檢視是否建立成功

　　（b）将測試檔案内容上傳到檔案系統上

　　（c）檢視上傳的檔案是否正确

　　（d）在Hdfs上運作mapreduce程式

　　（e）檢視輸出結果

　　　　指令行檢視：

　　　　浏覽器檢視

　　（f）将測試檔案内容下載下傳到本地

　　　　點選上一步浏覽器檢視中的part-r-00000

　　　　将 part-r-00000檔案下載下傳後檢視

　　（g）删除輸出結果

二） YARN上運作MapReduce 程式

（1）配置叢集

　　（a）配置yarn-env.sh

　　　　配置JAVA_HOME

　　（b）配置yarn-site.xml

　　　　增加兩個屬性節點

　　（c）配置：mapred-env.sh

            配置JAVA_HOME

　　（d）配置： (對mapred-site.xml.template重新命名為) mapred-site.xml

            并配置相應節點

（2）啟動叢集

        啟動叢集之前先要保證namenode和datanode正常啟動

　　（a）啟動resourcemanager

　　（b）啟動nodemanager

（3）叢集操作

　　（a）yarn的浏覽器頁面檢視

            啟動成功後在浏覽器中輸入對應位址可檢視

　　（b）執行mapreduce程式

　　（c）檢視運作結果

　　（d）删除檔案系統上的output檔案

三） 修改本地臨時檔案存儲目錄

1）停止程序

        按照resourcemanager/nodemanager->datanode/namenode的先後順停止程序

2）修改hadoop.tmp.dir

        hadoop預設生成的dfs等檔案放在 /tmp/hadoop-{hostname} 下的當重新開機後 系統臨時檔案夾中内容被清除，是以需要重新配置臨時檔案夾

在hadoop-2.7.2中建立 data/tmp 檔案夾

後修改 core-site.xml，增加屬性節點

3）格式化NameNode

4）啟動所有程序

        按照 namenode/datanode->resourcemanager/nodemanager順序啟動

5）檢視/opt/module/hadoop-2.7.2/data/tmp這個目錄下的内容