天天看點

【Spark亞太研究院系列叢書】Spark實戰高手之路-第一章 建構Spark叢集(第二步)(4)...4.測試Hadoop分布式叢集環境;

4.測試Hadoop分布式叢集環境;

首先在通過Master節點格式化叢集的檔案系統:

【Spark亞太研究院系列叢書】Spark實戰高手之路-第一章 建構Spark叢集(第二步)(4)...4.測試Hadoop分布式叢集環境;

輸入“Y”完成格式化:

【Spark亞太研究院系列叢書】Spark實戰高手之路-第一章 建構Spark叢集(第二步)(4)...4.測試Hadoop分布式叢集環境;

格式化完成以後,我們啟動hadoop叢集

【Spark亞太研究院系列叢書】Spark實戰高手之路-第一章 建構Spark叢集(第二步)(4)...4.測試Hadoop分布式叢集環境;

我們在嘗試一下停止Hadoop叢集:

【Spark亞太研究院系列叢書】Spark實戰高手之路-第一章 建構Spark叢集(第二步)(4)...4.測試Hadoop分布式叢集環境;

此時出現了“no datanode to stop”的錯誤,出現這種錯誤的原因如下:

每次使用 “hadoop namenode -format”指令格式化檔案系統的時候會出現一個新的namenodeId,而我我們在搭建Hadoop單機僞分布式版本的時候往我們自己建立的tmp目錄下放了資料,現在需要把各台機器上的“/usr/local/hadoop/hadoop-1.2.1/”下面的tmp及其子目錄的内容清空,于此同時把“/tmp”目錄下的與hadoop相關的内容都清空,最後要把我們自定義的hdfs檔案夾中的data和name檔案夾中的内容清空:

【Spark亞太研究院系列叢書】Spark實戰高手之路-第一章 建構Spark叢集(第二步)(4)...4.測試Hadoop分布式叢集環境;

把Slave1和Slave2中同樣的内容均删除掉。

重新格式化并重新啟動叢集,此時進入Master的Web控制台:

【Spark亞太研究院系列叢書】Spark實戰高手之路-第一章 建構Spark叢集(第二步)(4)...4.測試Hadoop分布式叢集環境;

此時可以看到Live  Nodes隻有三個,這正是我們預期的,因為我們Master、Slave1、Slave2都設定成為了DataNode,當然Master本身同時也是NameNode。

此時我們通過JPS指令檢視一下三台機器中的程序資訊:

【Spark亞太研究院系列叢書】Spark實戰高手之路-第一章 建構Spark叢集(第二步)(4)...4.測試Hadoop分布式叢集環境;
【Spark亞太研究院系列叢書】Spark實戰高手之路-第一章 建構Spark叢集(第二步)(4)...4.測試Hadoop分布式叢集環境;
【Spark亞太研究院系列叢書】Spark實戰高手之路-第一章 建構Spark叢集(第二步)(4)...4.測試Hadoop分布式叢集環境;

發現Hadoop叢集的各種服務都正常啟動。

至此,Hadoop叢集建構完畢。

版權聲明:本文為CSDN部落客「weixin_33859665」的原創文章,遵循CC 4.0 BY-SA版權協定,轉載請附上原文出處連結及本聲明。

原文連結:https://blog.csdn.net/weixin_33859665/article/details/92156395