Hadoop叢集的格式化、叢集運作學習筆記

1 格式化：

Hadoop Startup

To start a Hadoop cluster you will need to start both the HDFS and YARN cluster.

The first time you bring up HDFS, it must be formatted. Format a new distributed filesystem as hdfs:

[hdfs]$ $HADOOP_PREFIX/bin/hdfs namenode -format <cluster_name>

即：./hdfs namenode -format

2.啟動hdfs:  start-dfs.sh

通過50070端口通路datanode

3.啟動yarn:    start-yarn.sh

yarn管理的資源指記憶體/CPU等

通過8088端口通路yarn上運作的程式。

4.mr-jobhistory-daemon.sh start historyserver

檢視job history server 上運作過的job

5.關閉： stop-yarn.sh/stop-dfs.sh/mr-jobhistory-daemon.sh stop historyserver

關閉hdfs慢是因為作為檔案管理系統有很多中繼資料。

6.為什麼不用stat-all.sh？

（1）分别啟動時，如果發生問題，可以很快定位到問題所在

（2）如運作spark，直接啟動yarn即可，不需要啟動hdfs。