大資料平台之 SQL 掃描服務（二） - 環境準備（Hadoop）

目錄

1. 環境版本

2.安裝步驟

2.1 安裝 JDK

2.2 在 hosts 檔案建構映射關系

2.3 解壓 Hadoop

2.4 修改 hadoop-env.sh

2.5 修改 core-site.xml

2.6 修改 hdfs-site.xml

2.7 修改 mapred-site.xml

2.8 修改 yarn-site.xml

3.啟動服務

3.1 格式化 NameNode

3.2 啟動 NameNode

3.3 啟動 DataNode

3.4 啟動 YARN

4.驗證

5.參考連結

在上一篇文章中介紹了需求背景以及需要實作的功能，這篇文章主要是為進行下一步對 Hive Parser 流程分析做環境準備，以友善的進行代碼跟蹤以及問題複現，主要包括如下幾個步驟：

• 虛拟機下 Hadoop 僞分布式環境安裝

1. 環境版本

• Hadoop 版本：hadoop-2.6.0-cdh5.12.1
• VMWare 版本：VMware-workstation-full-15.5.0-14665864
• 虛拟機鏡像版本：ubuntu-18.04.1-desktop-amd64.iso
• JDK 版本：jdk-8u131-linux-x64

• VMWare 版本更新到 15.5.0 版本，下載下傳位址為： https://www.nocmd.com/740.html
• Ubuntu 18.04 版本，鏡像下載下傳位址為： https://ubuntu.com/#download
• Hadoop 下載下傳位址：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.12.1.tar.gz

2.安裝步驟

為簡單起見，後續安裝在 root 使用者下進行。

2.1 安裝 JDK

• 建立目錄：在目錄 /usr/lib 下建立 jvm 目錄，将 jdk 壓縮檔案解壓至此目錄
• 修改配置：修改 ~/.bashrc 檔案，新增環境變量（如下代碼塊）
• 在終端中輸入 "source ~/.bashrc" 使配置生效
• 在終端中輸入 "echo $PATH" 驗證配置是否生效

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_131

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

2.2 在 hosts 檔案建構映射關系

127.0.0.1    master

2.3 解壓 Hadoop

• 解壓 hadoop-2.6.0-cdh5.7.0.tar.gz （tar -zxvf  hadoop-2.6.0-cdh5.7.0.tar.gz）
• 修改解壓後 hadoop-2.6.0-cdh5.7.0 目錄為 hadoop-2.6.0，并進入到該目錄（cd ./hadoop-2.6.0/etc/hadoop）
• 後續配置檔案路徑都是以此為基礎路徑。

2.4 修改 hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_131

2.5 修改 core-site.xml

<configuration>

        <property>

                <name>fs.default.name</name>

                <value>hdfs://master:8020</value>

        </property>

</configuration>

2.6 修改 hdfs-site.xml

<configuration>

        <property>

                <name>dfs.replication</name>

                <value>1</value>

        </property>

        <property>

                <name>dfs.namenode.name.dir</name>

                <value>/home/tzx/data/dfs/name</value>

        </property>

        <property>

                <name>dfs.datanode.data.dir</name>

                <value>/home/tzx/data/dfs/data</value>

        </property>

</configuration>

2.7 修改 mapred-site.xml

<configuration>

        <property>

                <name>mapreduce.framework.name</name>

                <value>yarn</value>

        </property>

</configuration>

2.8 修改 yarn-site.xml

<configuration>

        <property>

                <name>yarn.nodemanager.aux-services</name>

                <value>mapreduce_shuffle</value>

        </property>

</configuration>

3.啟動服務

切換到 hadoop-2.6.0 根目錄，所有指令都是基于此路徑執行

3.1 格式化 NameNode

bin/hdfs namenode -format

3.2 啟動 NameNode

sbin/hadoop-daemon.sh start namenode

3.3 啟動 DataNode

sbin/hadoop-daemon.sh start datanode

3.4 啟動 YARN

ssh-keygen -t rsa -P ""

cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

sbin/start-yarn.sh

4.驗證

• 浏覽器通路 http://master:50070
• 浏覽器通路 http://master:8088/cluster
• 在終端輸入 "jps"，确認産生四個程序
  • NameNode
  • DataNode
  • ResourceManager
  • NodeManager

5.參考連結

http://www.voidcn.com/article/p-tkfsbwkq-nb.html