天天看點

在Windows上的虛拟機安裝Hadoop僞分布式系統(三)

接上一篇文章

在上一篇文章中遺漏了一個core-site的配置檔案

在Windows上的虛拟機安裝Hadoop僞分布式系統(三)

這個是改預設的名字為自己需要的,其效果在如下:

在Windows上的虛拟機安裝Hadoop僞分布式系統(三)

好了接下來 說接着上一篇文章寫:

開始 啟動jobhistory

指令: sbin/mr-jobhistory-daemon.sh start historyserver

在Windows上的虛拟機安裝Hadoop僞分布式系統(三)

運作mapreduce

建立一個輸出目錄

指令:bin/hdfs dfs -mkdir -p /user/yayun/data/output/

在Windows上的虛拟機安裝Hadoop僞分布式系統(三)

開始運作

bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/yayun/data/wc.input /user/yayun/data/output/1

在Windows上的虛拟機安裝Hadoop僞分布式系統(三)
在Windows上的虛拟機安裝Hadoop僞分布式系統(三)
在Windows上的虛拟機安裝Hadoop僞分布式系統(三)

網頁端檢視

在Windows上的虛拟機安裝Hadoop僞分布式系統(三)

4.9.2 結果檢視:

bin/hdfs dfs -text /user/yayun/data/output/1/par*

在Windows上的虛拟機安裝Hadoop僞分布式系統(三)

SSH無密碼登入

在主節點生成密鑰

確定在生成公鑰和密鑰之前ssh目錄下無任何檔案,如果有則清理。

在Windows上的虛拟機安裝Hadoop僞分布式系統(三)

生成密鑰的指令:ssh-keygen -t rsa

在Windows上的虛拟機安裝Hadoop僞分布式系統(三)

将密鑰分發到3台機器上,因為機器1上也有datanode

ssh-copy-id bigdata01

ssh-copy-id bigdata02

ssh-copy-id bigdata03

在Windows上的虛拟機安裝Hadoop僞分布式系統(三)

測試

指令:ssh bigdata02

在Windows上的虛拟機安裝Hadoop僞分布式系統(三)

停掉使用的yarn 的指令:sbin/stop-yarn,sh

停掉使用的hdfs 的指令:sbin/stop-all.sh

開啟使用的hdfs 的指令:sbin/start-all.sh

至此一個 Hadoop 僞分布式叢集就正式建立。

至于其他生态圈的工具安裝 後面會更新中,在這個過程中我遇到很多的問題,很感謝csdn上的大佬,讓我有優質的資料可查,并且一步步解決問題。并且成功。

繼續閱讀