手工安裝配置Cloudera元件-Hadoop

Cloudera Manager安裝經常出現錯誤，而且一點小錯誤，常常需要整個過程重來，不熟悉其内部過程，錯誤常常無從下手，所有決定yum安裝手工配置一個測試叢集，順便嘗試下牛叉的Impala。

安裝repo

​​http://archive-primary.cloudera.com/cdh/​​

存放着cdh1-3的所有檔案

​​http://archive-primary.cloudera.com/cdh4/​​

存放着cdh4的所有檔案

​​http://archive-primary.cloudera.com/cdh5/​​

存放着cdh5的所有檔案

安裝可以先從上邊的位址下載下傳對應的RPM包，然後安裝，也可以直接yum安裝

Yum安裝需要将對應的“Linux源”檔案，下載下傳到對應的本地檔案系統。

例如centos6就是将cloudera-cdh5.repo檔案放到/etc/yum.repos.d目錄下就行了。

安裝Hadoop的元件

Yum安裝Cloudera的元件都是類似的，比如安裝hdfs，要先安裝hdfs的base，這裡邊包含了hdfs的所有的檔案，jar包啊，什麼的；然後在安裝我們需要元件，比如，想安裝NameNode，就用yum安裝hadoop-hdfs-namenode，安裝這個檔案包括兩個部分，一個是在/etc/rc.d/init.d/檔案夾下面安裝一個hadoop-hdfs-namenode服務，另一部分是在/etc/default/目錄下安裝一個hadoop-hdfs-namenode檔案，裡邊是原來hadoop-env.sh檔案中關于hdfs-namenode的部分。

在了解了這個之後，就知道裝什麼了。

安裝HDFS

1.      在所有節點上安裝hdfs base

2.      Base 預設安裝到/var/lib/目錄下

3.      在master節點上安裝hadoop-hdfs-namenode

4.      在另一台機器上安裝hadoop-hdfs-secondarynamenode（或者在另一台機器上也安裝hadoop-hdfs-namenode，HA用，還有HA相關的其他服務）

5.      在slaves節點上安裝hadoop-hdfs-datanode

6.      安裝其他需要的元件

7.      安裝之後，環境變量相關的檔案都在/etc/default/目錄下，配置檔案在/etc/hadoop/下，具體配置可以檢視官網，步驟很精準

8.      在一個節點修改配置檔案，然後scp分發配置檔案到叢集所有節點

9.      用service指令啟動相關服務

安裝YARN

1.      在所有節點安裝hadoop-yarn base

2.      Base安裝在/var/lib/目錄下

3.      找個節點安裝hadoop-yarn-resourcemanager

4.      在所有datanode節點安裝hadoop-yarn-nodemanager

5.      安裝其他需要的元件

6.      安裝之後，環境變量相關的檔案都在/etc/default/目錄下，配置檔案在/etc/hadoop/下

7.      在一個節點修改配置檔案，然後scp分發配置檔案到叢集所有節點

8.      用service指令啟動相關服務

安裝MR

1.      在所有節點安裝hadoop-mapreduce base

2.      找一個節點安裝hadoop-mapreduce-historyserver

3.      安裝其他需要的元件

4.      安裝之後，環境變量相關的檔案都在/etc/default/目錄下，配置檔案在/etc/hadoop/下

5.      在一個節點修改配置檔案，然後scp分發配置檔案到叢集所有節點

6.      用service指令啟動相關服務

注意