大資料學習之路（二）——hadoop僞分布式

開始搭建hadoop僞分布式

使用機器：macbook pro， jdk我就不說明了，必備

參考文章http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/SingleCluster.html

hadoop的僞分布式比較簡單，基本上按照官網的講解一步步下載下傳就ok了。

1. 下載下傳hadoop2.5.2.tar.gz

2. 解壓到目錄中。我的目錄是

/Users/zhengyifan/app/hadoop2.5.2

3. 配置環境變量

sudo vim /etc/profile

添加

JAVA_HOME

，mac下預設的是

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_161.jdk/Contents    /Home
           

添加CLASSPATH

export CLASSPAT=.:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar
           

添加HADOOP_HOME

export HADOOP_HOME=/Users/zhengyifan/app/hadoop2.5.2
           

添加到PATH中

PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
           

4. 修改

etc / hadoop / hadoop-env.sh

檔案

# set to the root of your Java installation
  export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1..jdk/Contents/Home

  # Assuming your installation directory is /usr/local/hadoop
  export HADOOP_PREFIX=/Users/zhengyifan/app/hadoop2.
           

嘗試運作下面腳本，這将顯示hadoop腳本的使用文檔

$ bin/hadoop
           

5. ssh免密登入

保證你的系統能使用ssh， 不能用的話，使用

brew install ssh

安裝ssh

ssh-keygen -t rsa // 一路回車
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
           

注意，如果你建立了一個hadoop使用者，那麼請設定他home底下的.ssh檔案夾的權限為700，authorized_keys檔案權限為600，否則免密登入無法使用

6. 修改配置檔案

etc/hadoop/core-site.xml

這将是你hdfs連結的位址

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>
           

etc/hadoop/hdfs-site.xml

決定你datanode的個數，預設為3個，僞分布式隻需要1個

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>
           

ok，以下是注意點

masters檔案可以删除， slaves中應該寫明localhost，也就是說自己是自己的datanode

7.運作僞分布式

注意，你可能嘗試運作過一些服務，建議你先運作

stop-all.sh

避免你format失敗

// 格式化namenode
bin/hdfs namenode -format
// 啟動NameNode守護程序和DataNode守護程序
sbin/start-dfs.sh
// 浏覽NameNode的Web界面
http://localhost:50070/
           

ok , 接下來你就可以操作你的hdfs了，也可以編寫你的代碼了。