hadoop2.5.1單節點安裝

環境資訊

作業系統：VMware RedHat 6.4 64bit

CUP：2 * 1

軟體資訊

hadoop 2.5.1

java jdk 1.7.45

建立使用者與組

$groupadd -g 501 hadoop
$useradd -m hadoop –g 501
           

主機名修改

A. $hostname 機器名稱

B. $vi /etc/hosts    --ip  機器名稱

C. $vi /etc/sysconfig/network      --hostname=機器名稱

D.$reboot        --重新開機機器

生成密鑰公鑰

$su - hadoop
$ssh-keygen -t rsa -p ''
$su - root
$vi /etc/ssh/sshd_config
#RSAAuthentication yes
#PubkeyAuthentication yes
#AuthorizedKeysFile      .ssh/authorized_keys
修改為:
RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile      .ssh/authorized_keys
           

重新開機ssh服務

$service sshd restart
           

測試ssh

$ssh localhost
           

Hadoop steup

下載下傳：http://apache.org/dist/hadoop/core/hadoop-2.5.1/hadoop-2.5.1.tar.gz        hadoop-2.5.1.tar.gz

解壓：tar -zxvf hadoop-2.5.1.tar.gz

将編譯好的native驅動(http://blog.csdn.net/rotkang/article/details/40391533)拷貝到hadoop-2.5.1/lib/下

權限：chown -R hadoop:hadoop hadoop-2.5.1

修改hadoop-env.sh、yarn-env.sh中重新指定JAVA_HOME變量

export JAVA_HOME=java path

$vi ~/hadoop-2.5.1/etc/hadoop/core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>
           

$vi ~/hadoop-2.5.1/etc/hadoop/hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>
           

$vi ~/hadoop-2.5.1/etc/hadoop/mapred-site.xml:

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
           

$vi ~/hadoop-2.5.1/etc/hadoop/yarn-site.xml:

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>
           

啟動Hadoop

$start-dfs.sh

$start-yran.sh

或者

$start-all.sh

停止Hadoop

$stop-dfs.sh

$stop-yran.sh

或者

$stop-all.sh

測試Hadoop

測試一：$jps

測試二：http://ip:50070