大資料叢集搭建筆記

時間同步

所有datanode伺服器時間跟NameNode時間同步

centos8安裝chrony

yum install -y chrony

配置時間同步伺服器：

/etc/chrony.conf

ssh 配置

namenode到每台datanode的免密碼通路都要配，datanode和datanode之間非必需。

配置namenode到其他datanode免密碼ssh，這樣可以通過namenode統籌整個叢集，比如進行叢集重新開機/關閉等操作。

可以把namenode的ssh pubkey内容追加到所有datanode的authorized_keys檔案。

啟動服務

從NameNode到$HADOOP_HOME目錄中調用：

sbin/start-all.sh #啟動叢集，會ssh啟動datanode程序

sbin/stop-all.sh #關閉叢集

檢視相關程序

hadoop是使用Java開發的，啟動後的相關程序都是跑在JVM裡面的，可以使用jps指令檢視相關java程序。