天天看點

hadoop安裝入門

1.jdk安裝和配置

1.1下載下傳最新jdk檔案

http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

1.2配置環境變量

vi /etc/profile

在檔案末尾加入如下内容

JAVA_HOME=/usr/local/jdk

JAVA_CLASSPATH=$JAVA_HOME/lib

PATH=$JAVA_HOME/bin:$PATH

export JAVA_HOME JAVA_CLASSPATH PATH

并使上面檔案生效

source /etc/profile

java -version

 2.hadoop安裝

首先需要配置運作環境,在etc/hadoop/hadoop-env.sh檔案中增加

export JAVA_HOME=/usr/local/hadoop

    /usr/local/hadoop/etc/hadoop/core-site.xml 包含了hadoop啟動時的配置資訊。

    編輯器中打開此檔案

    sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml

hadoop安裝入門

    在該檔案的<configuration></configuration>之間增加如下内容:

    <property>

        <name>fs.default.name</name>

        <value>hdfs://localhost:9000</value>

    </property>

    儲存、關閉編輯視窗。

    最終修改後的檔案内容如下:

hadoop安裝入門

    /usr/local/hadoop/etc/hadoop/yarn-site.xml包含了MapReduce啟動時的配置資訊。

    sudo gedit yarn-site.xml

hadoop安裝入門

在該檔案的<configuration></configuration>之間增加如下内容:

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

        <value>org.apache.hadoop.mapred.ShuffleHandler</value>

    儲存、關閉編輯視窗

    最終修改後的檔案内容如下

hadoop安裝入門

    預設情況下,/usr/local/hadoop/etc/hadoop/檔案夾下有mapred.xml.template檔案,我們要複制該檔案,并命名為mapred.xml,該檔案用于指定MapReduce使用的架構。

    複制并重命名

    cp mapred-site.xml.template mapred-site.xml

    編輯器打開此建立檔案

    sudo gedit mapred-site.xml

hadoop安裝入門

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    儲存、關閉編輯視窗    

hadoop安裝入門

    /usr/local/hadoop/etc/hadoop/hdfs-site.xml用來配置叢集中每台主機都可用,指定主機上作為namenode和datanode的目錄。

    建立檔案夾,如下圖所示

hadoop安裝入門

你也可以在别的路徑下建立上圖的檔案夾,名稱也可以與上圖不同,但是需要和hdfs-site.xml中的配置一緻。

    編輯器打開hdfs-site.xml

        <name>dfs.replication</name>

        <value>1</value>

        <name>dfs.namenode.name.dir</name>

        <value>file:/usr/local/hadoop/hdfs/name</value>

        <name>dfs.datanode.data.dir</name>

        <value>file:/usr/local/hadoop/hdfs/data</value>

    最終修改後的檔案内容如下:    

hadoop安裝入門

    hdfs namenode -format    

    隻需要執行一次即可,如果在hadoop已經使用後再次執行,會清除掉hdfs上的所有資料。

    經過上文所描述配置和操作後,下面就可以啟動這個單節點的叢集    

    執行啟動指令:

    sbin/start-dfs.sh    

    執行該指令時,如果有yes /no提示,輸入yes,回車即可。    

    接下來,執行:

    sbin/start-yarn.sh    

    執行完這兩個指令後,Hadoop會啟動并運作    

    執行 jps指令,會看到Hadoop相關的程序,如下圖:

hadoop安裝入門

浏覽器打開 http://localhost:50070/,會看到hdfs管理頁面

hadoop安裝入門

浏覽器打開http://localhost:8088,會看到hadoop程序管理頁面

hadoop安裝入門

    dfs上建立input目錄

    bin/hadoop fs -mkdir -p input

hadoop安裝入門

把hadoop目錄下的README.txt拷貝到dfs建立的input裡

    hadoop fs -copyFromLocal README.txt input

hadoop安裝入門

    運作WordCount

    hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount input output

hadoop安裝入門

可以看到執行過程

hadoop安裝入門

運作完畢後,檢視單詞統計結果

    hadoop fs -cat output/*

hadoop安裝入門

本文轉自快樂就好部落格園部落格,原文連結:http://www.cnblogs.com/happyday56/p/4369853.html,如需轉載請自行聯系原作者