1.jdk安裝和配置
1.1下載下傳最新jdk檔案
http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html
1.2配置環境變量
vi /etc/profile
在檔案末尾加入如下内容
JAVA_HOME=/usr/local/jdk
JAVA_CLASSPATH=$JAVA_HOME/lib
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME JAVA_CLASSPATH PATH
并使上面檔案生效
source /etc/profile
java -version
2.hadoop安裝
首先需要配置運作環境,在etc/hadoop/hadoop-env.sh檔案中增加
export JAVA_HOME=/usr/local/hadoop
/usr/local/hadoop/etc/hadoop/core-site.xml 包含了hadoop啟動時的配置資訊。
編輯器中打開此檔案
sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml
![](https://img.laitimes.com/img/__Qf2AjLwojIjJCLyojI0JCLicmbw5SN2UjM3YTN2ATOyETM5EzLcZDM0EDMy8CX3kDMyEzLcd2bsJ2Lc12bj5ycn9Gbi52YuAzcldWYtl2Lc9CX6MHc0RHaiojIsJye.png)
在該檔案的<configuration></configuration>之間增加如下内容:
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
儲存、關閉編輯視窗。
最終修改後的檔案内容如下:
/usr/local/hadoop/etc/hadoop/yarn-site.xml包含了MapReduce啟動時的配置資訊。
sudo gedit yarn-site.xml
在該檔案的<configuration></configuration>之間增加如下内容:
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
儲存、關閉編輯視窗
最終修改後的檔案内容如下
預設情況下,/usr/local/hadoop/etc/hadoop/檔案夾下有mapred.xml.template檔案,我們要複制該檔案,并命名為mapred.xml,該檔案用于指定MapReduce使用的架構。
複制并重命名
cp mapred-site.xml.template mapred-site.xml
編輯器打開此建立檔案
sudo gedit mapred-site.xml
<name>mapreduce.framework.name</name>
<value>yarn</value>
儲存、關閉編輯視窗
/usr/local/hadoop/etc/hadoop/hdfs-site.xml用來配置叢集中每台主機都可用,指定主機上作為namenode和datanode的目錄。
建立檔案夾,如下圖所示
你也可以在别的路徑下建立上圖的檔案夾,名稱也可以與上圖不同,但是需要和hdfs-site.xml中的配置一緻。
編輯器打開hdfs-site.xml
<name>dfs.replication</name>
<value>1</value>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/hdfs/name</value>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/hdfs/data</value>
最終修改後的檔案内容如下:
hdfs namenode -format
隻需要執行一次即可,如果在hadoop已經使用後再次執行,會清除掉hdfs上的所有資料。
經過上文所描述配置和操作後,下面就可以啟動這個單節點的叢集
執行啟動指令:
sbin/start-dfs.sh
執行該指令時,如果有yes /no提示,輸入yes,回車即可。
接下來,執行:
sbin/start-yarn.sh
執行完這兩個指令後,Hadoop會啟動并運作
執行 jps指令,會看到Hadoop相關的程序,如下圖:
浏覽器打開 http://localhost:50070/,會看到hdfs管理頁面
浏覽器打開http://localhost:8088,會看到hadoop程序管理頁面
dfs上建立input目錄
bin/hadoop fs -mkdir -p input
把hadoop目錄下的README.txt拷貝到dfs建立的input裡
hadoop fs -copyFromLocal README.txt input
運作WordCount
hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount input output
可以看到執行過程
運作完畢後,檢視單詞統計結果
hadoop fs -cat output/*
本文轉自快樂就好部落格園部落格,原文連結:http://www.cnblogs.com/happyday56/p/4369853.html,如需轉載請自行聯系原作者