在騰訊雲上搭建 Hadoop 完全分布式叢集

“紙上得來終覺淺，覺知此事要躬行”

本系列文章主要針對騰訊雲上進行大資料系統化操作講解，在網際網路盛行的今日，站在巨人頭上的我們。一門技術得來，百度一下終得解決。然而網際網路上的文章零零碎碎，達不到強度系統化，以及友善性，快捷性，和簡潔性，與針對性準則，這給雲上大資料愛好者們帶來困擾，使适應騰訊雲平台需要花費大量的精力與時間。開發成本大幅增加，然而這些對生産項目尤為重要，

本文章就是為了彌補這些而寫，借助騰訊雲平台進行一些實戰性，選擇性講解。并希望與一些志同道合的小夥伴一起來攻克難關，共同促進雲計算，大資料發展。

三台同号同區騰訊雲伺服器，配置可根據所需求自行加減，三台系統為centos6.5 64位。如下圖：

騰訊雲主機對應叢集節點和相應功能圖

規劃圖

1.添加hadoop使用者組

2.建立hadoop使用者并添加到使用者組中

3.修改 hadoop 使用者的密碼為hadoop

下載下傳java安裝包版本：1.8.0_131

微雲java安裝包下載下傳位址：http://url.cn/49Sxz1E

上傳安裝包。

使用ftp上傳工具上傳到伺服器，也可wget進行下載下傳。這裡就不進行講解。

安裝 Java：<code>rmp -ivh java.rpm</code>

驗證安裝是否成功：<code>java -version</code>

修改 hosts 檔案<code>vim /etc/hosts</code>

修改ssh配置檔案取消注釋<code>vim /etc/ssh/sshd_config</code>

重新開機 sshd 服務<code>service sshd restart</code>

上傳檔案在home目錄下

解壓hadoop壓縮包：<code>tar -zxf hadoop-2.7.1.tar.gz</code>。

在home目錄下建立bigdata目錄：<code>mkdir bigdata</code>

移動hadoop目錄及檔案移動到bigdata目錄下：<code>mv hadoop-2.7.1 bigdata/</code>

切換到bigdata目錄下：<code>cd bigdata</code>

修改目錄名稱hadoop-2.7.1為hadoop：<code>mv hadoop-2.7.1 hadoop</code>

配置hadoop配置檔案，檔案如下：

修改core-site.xml檔案：

<code><?xml version="1.0" encoding="UTF-8"?></code> <code><?xml-stylesheet type="text/xsl" href="configuration.xsl"?></code> <code></code> <code></code> <code><configuration></code> <code><property></code> <code><name>fs.defaultFS</name></code> <code><value>hdfs://master:9000</value></code> <code></property></code> <code><property></code> <code><name>hadoop:tmp.dir</name></code> <code><value>/home/hadoop/bigdate/data/hadoop/tmp</value></code> <code></property></code> <code></configuration></code>

修改hdfs-site.xml檔案

<code><?xml version="1.0" encoding="UTF-8"?></code> <code><?xml-stylesheet type="text/xsl" href="configuration.xsl"?></code> <code></code> <code></code> <code><configuration></code> <code><property></code> <code><name> dfs:namenode.secondary.http-adress</name></code> <code><value>master:9001</value></code> <code></property></code> <code><property></code> <code><name>dfs:namenode.name.dir</name></code> <code><value>file:/home/hadoop/bigdate/date/hadoop/hdfs/datanode</value></code> <code></property></code> <code><property></code> <code><name>dfs:namenode.name.dir</name></code> <code><value>file:/home/hadoop/bigdate/date/hadoop/hdfs/namenode</value></code> <code></property></code> <code><property></code> <code><name>dfs.replication</name></code> <code><value>3</value></code> <code></property></code> <code></configuration></code>

修改mapered-site.xml檔案，沒有可以生成一個，也可在mapred-site.xml.template中進行配置

<code><?xml version="1.0"?></code> <code><?xml-stylesheet type="text/xsl" href="configuration.xsl"?></code> <code></code> <code></code> <code><configuration></code> <code><property></code> <code><name>mapreduce.framework.name</name></code> <code><value>yarn</value></code> <code></property></code> <code></configuration></code>

修改yarn-site.xml配置檔案

<code><?xml version="1.0"?></code> <code></code> <code><configuration></code> <code></code> <code><property></code> <code><name>yarn.resourcemanager.hostname</name></code> <code><value>master</value></code> <code></property></code> <code><property></code> <code><name>yarn.nodemanager.aux-serivices</name></code> <code><value>mapreduce_shuffle</value></code> <code></property></code> <code></configuration></code>

修改slaves檔案

<code>slave01 slave02</code>

關機master伺服器進行鏡像制作。

确認後，等待幾分鐘即可制作完成，完成後開機master主機

重裝slave01伺服器和slave02伺服器

修改計算機名稱，修改下圖示紅處：<code>vim /etc/sysconfig/network</code> 。

重新開機伺服器：<code>reboot</code>

切換到hadoop使用者：<code>su - hadoop</code>

切換到家目錄：<code>cd ~</code>

生成密鑰一路回車即可：<code>ssh-keygen -t rsa</code>

切換到.ssh目錄下：<code>cd .ssh/</code>

将id-rsa_pub内容寫入生成authorized-keys檔案：<code>cat id_rsa.pub >>authorized_keys</code>

8.在master主機中将authorized_keys檔案傳到slave01主機hadoop家目錄.shh目錄下：<code>scp authorized_keys hadoop@slave01:/home/hadoop/.ssh/</code>

在master主機中将authorized_keys檔案傳到slave02主機hadoop家目錄.shh目錄下：<code>scp authorized_keys hadoop@slave02:/home/hadoop/.ssh/</code>

10.目錄權限設定，hadoop使用者目錄權限為755或者700，.ssh目錄是755.id_rsa.pub和authorized_keys權限為644，如下圖

17.使用shh+主機名進行驗證

<code>hadoop namenode -format</code> namenode格式化,如不能操作檢查環境變量或<code>./hadoop namenode -format</code>進行namenode格式化

啟動hadoop程式

切換到sbin目錄下：<code>cd /home/hadoop/bigdata/hadoop/sbin</code>

啟動hadoop程式：<code>sh start-all.sh</code>

檢視：<code>jps</code>

四個程序運作中

<code>ssh slave01</code>

下篇文章，筆者将介紹如何在騰訊雲上完成 Hive 安裝及配置。