Hadoop 2.7 僞分布式環境搭建

hadoop2.7 僞分布式搭建

1、安裝環境

　　①、一台Linux CentOS6.7 系統

　　hostname                ipaddress        　　      subnet mask                  geteway　　　　

　　 Node1　　　　　192.168.139.150　　　　255.255.255.0　　　　　　192.168.139.2

　　②、hadoop 2.7 安裝包

　　　　百度雲下載下傳連結：http://pan.baidu.com/s/1gfaKpA7 密碼：3cl7

2、安裝 JDK

　　教程：http://www.cnblogs.com/ysocean/p/6952166.html

3、配置本機 ssh 免密碼登入

　　教程：http://www.cnblogs.com/ysocean/p/6959776.html

　　上面教程是配置多台機器 ssh 免秘鑰登入的配置。那麼本機配置的話。輸入如下指令即可：

ssh-keygen -t rsa -P ''
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
      

　　完成之後，以 root 使用者登入，修改 ssh 配置檔案

vi /etc/ssh/sshd_config      

　　把檔案中的下面幾條資訊的注釋去掉：　

　　RSAAuthentication yes # 啟用 RSA 認證

　　PubkeyAuthentication yes # 啟用公鑰私鑰配對認證方式

　　AuthorizedKeysFile .ssh/authorized_keys # 公鑰檔案路徑（和上面生成的檔案同）

　　然後重新開機服務

service sshd restart
      

　　驗證出現如下界面，中間不需要輸入密碼，即配置完成。

　　

4、安裝 hadoop-2.7.3.tar.gz

　　①、将下載下傳的 hadoop-2.7.3.tar.gz  複制到 /home/hadoop 目錄下（可以利用工具 WinSCP）

　　②、解壓，進入/home/hadoop 目錄下，輸入下面指令

tar -zxvf hadoop-2.7.3.tar.gz
      

　　③、給 hadoop-2.7.3檔案夾重命名，以便後面引用

mv hadoop-2.7.3 hadoop2.7
      

　　④、删掉壓縮檔案 hadoop-2.7.3.tar.gz,并在/home/hadoop 目錄下建立檔案夾 tmp

mv hadoop-2.7.3 hadoop2.7      

　　⑤、配置 hadoop 的環境變量（注意要使用 root 使用者登入）

vi /etc/profile
      

　　輸入如下資訊：

　　然後輸入如下指令儲存生效：

source /etc/profile
      

　　⑥、驗證

　　在任意目錄下，輸入 hadoop，出現如下資訊即配置成功

5、修改配置檔案

　　①、/home/hadoop/hadoop-2.7.0/etc/hadoop目錄下hadoop-env.sh

　　輸入指令

　　修改 hadoop-env.sh 的 JAVA_HOME 值

 　　

　　②、/home/hadoop/hadoop2.7/etc/hadoop目錄下的core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.139.150:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/tmp</value>
    </property>
</configuration>
      

　　③、/home/hadoop/hadoop-2.7.0/etc/hadoop目錄下的hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>
      

到此我們便配置完成一個 hdfs 僞分布式環境　　

　　啟動 hdfs Single Node

　　①、初始化 hdfs 檔案系統

bin/hdfs namenode -format
      

　　②、啟動 hdfs 

sbin/start-dfs.sh
      

　　③、輸入 jps 應該會有如下資訊顯示，則啟動成功

　　那麼我們就可以 通過 http://192.168.139.150:50070 來通路 NameNode

　　我們點開 Datanodes ,發現就一個 datanode ，而且 IP 是 NameNode 的

 　　我們使用指令建立一個檔案

　　那麼在網頁上我們就能看到這個檔案

　　④、關閉 hdfs

sbin/stop-dfs.sh
      

作者：IT可樂

出處：http://www.cnblogs.com/ysocean/

資源：微信搜【IT可樂】關注我，回複 【電子書】有我特别篩選的免費電子書。

本文版權歸作者所有，歡迎轉載，但未經作者同意不能轉載，否則保留追究法律責任的權利。