Hadoop 2.x環境搭建準備

image.png

<a href="https://link.jianshu.com?t=http%3A%2F%2Fhadoop.apache.org%2Fdocs%2Fr2.5.2%2Fhadoop-project-dist%2Fhadoop-common%2FSingleCluster.html" target="_blank">http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/SingleCluster.html</a>

空格分開解除安裝項。利用--nodeps參數強力解除安裝

tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules/

vi /etc/profile 末尾添加java環境變量

source /etc/profile

tar -zxvf hadoop-2.5.0.tar.gz -C /opt/modules/

vi /opt/modules/hadoop-2.5.0/etc/hadoop/hadoop-env.sh

修改java環境變量

本地模式

未分布式模式

分布式模式

說明：part-r-00000 表示是MapReduce跑出來的結果。

以dfs開始a-z不限的結果隻有一個。

指令說明：jar 指令運作MapReduce樣例 傳入參數統計 wcinput目錄下所有檔案各單詞出現的次數，并把結果輸出到wcoutput目錄下

檢視執行結果

&lt;configuration&gt;

&lt;property&gt;

&lt;name&gt;fs.defaultFS&lt;/name&gt;

&lt;value&gt;hdfs://192.168.57.192:8020&lt;/value&gt;

&lt;/property&gt;

&lt;name&gt;hadoop.tmp.dir&lt;/name&gt;

&lt;value&gt;/opt/modules/hadoop-2.5.0/data/tmp&lt;/value&gt;

&lt;/configuration&gt;

檔案分布式存儲備份個數

&lt;name&gt;dfs.replication&lt;/name&gt;

&lt;value&gt;1&lt;/value&gt;

bin/hdfs namenode -format

啟動指令：sbin/hadoop-daemon.sh start namenode 說明：hadoop-daemon.sh 是hadoop的守護程序，利用它啟動HDFS的主節點。

vi /etc/sysconfig/iptables

建立HDFS檔案系統目錄 bin/hdfs dfs -mkdir -p /user/beifeng/mapreduce/wordcount/input

上傳wc.input指令： bin/hdfs dfs -put wcinput/wc.input /user/beifeng/mapreduce/wordcount/input 把wc.input 檔案上傳到/user/beifeng/mapreduce/wordcount/input目錄下

上傳用指令：-put

指令：bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /user/beifeng/mapreduce/wordcount/input/ /user/beifeng/mapreduce/wordcount/output

指令bin/hdfs dfs -cat /user/beifeng/mapreduce/wordcount/output/part*