部署單機版Hadoop

一、環境準備：

1、一台伺服器，主機名為nn01，IP為192.168.1.21

2、安裝JAVA環境

yum -y install java-1.8.0-openjdk-devel.x86_64 java-1.8.0-openjdk.x86_64

二、安裝Hadoop

1、tar -xf hadoop-2.7.6.tar.gz

2、mv hadoop-2.7.6 /usr/local/hadoop

cd /usr/local/hadoop/

./bin/hadoop

報錯   Error: JAVA_HOME is not set and could not be found.

這裡我們就要檢查一下java環境是否已安裝。如果已安裝。那麼檢查配置檔案的設定了

cd etc/hadoop/

vim hadoop-env.sh

修改java-home，和工作目錄這2個參數

查詢java的工作目錄

rpm -ql java-1.8.0-openjdk-1.8.0.131-11.b12.el7.x86_64

修改以後，再次運作./bin/hadoop

就會跳出提示資訊，主要是hadoop這個指令的用法相關

其實單機版的hadoop，就安裝完畢了。那麼我們來測試一下其運算功能

三、使用Hadoop進行詞頻計算

mkdir aa   建立一個目錄

cp *.txt aa/     把一些txt文檔copy到aa目錄裡面

./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar wordcount aa bb

hadoop運作jar腳本對aa目錄裡面的資料進行詞頻統計運算，結果放到bb目錄裡

cat bb/part-r-00000   運算結果