cloudera namager & CDH5 安裝與更新

一、 準備工作

下載下傳cdh的各種源:

1.下載下傳cloudera manager installer：http://archive-primary.cloudera.com/cm5/installer

2.因為這次要模拟更新安裝,首先要先下載下傳beta的源:http://archive-primary.cloudera.com/cm5/redhat/5/x86_64/cm/5.0.0-beta-2/

3.然後下載下傳release的源:http://archive-primary.cloudera.com/cm5/redhat/5/x86_64/cm/5.0.0/

4.然後下載下傳parcel包,官方也推薦這種方式安裝:http://archive-primary.cloudera.com/cdh5/parcels/

另外除了parcel包,還要下載下傳json檔案,沒有那個json檔案是無法正常安裝的.

5.下載下傳到本地後将rpm包的源,放到webserver目錄下,寫好yum的repo檔案

[cloudera-manager]

name = Cloudera Manager, Version 5.0.0

baseurl = http://IP/yum-package/cm5/redhat/5/x86_64/cm/5.0.0/

gpgcheck = 0

6.parcel包添加驗證檔案

cat manifest.json 把sha那一段沾出來, 寫到parcel包.sha檔案裡,然後為這三個檔案授權755

(之前因為manifest.json檔案改錯,安裝包一直失敗,檢視manager的log才發現問題)

至此準備工作完成!

二 、安裝cloudera manager

./cloudera-manager-installer.bin 直接執行,這個還支援滑鼠點選.

在最後一步前,準備好另一個終端,準備好手動拷貝剛才寫的repo檔案,因為安裝時會被覆寫,是以隻能手動反覆寫.......

完成manager機器的安裝 就可以進web配置了,啟動略慢

http://ip:7180

三、通過web安裝cdh

1.添加完涉及的伺服器後，手動指定parcel和agent的本地源

2.安裝完成後選擇服務,本次隻選擇了基本服務hdfs,yarn,zookeeper

3.指定角色,完成安裝.

4.使用slave節點,測試上傳檔案ok

四、更新cloudera manager

更新cloudera manager

1.把目前跑的所有服務都停掉,包括服務.

2.停掉cloudera-scm-server和cloudera-scm-server-db

1	service cloudera-scm-server stop

2	service cloudera-scm-server-db stop

3.準備好新版本的manager的repo檔案

執行yum clean all && yum upgrade 'cloudera-*'

rpm -qa  'cloudera-*' 檢視版本

4.更新完成,啟動server和db

5.進入web更新agent們,一進去就會有提示,然後手動指定url,更新就可以鳥.

五、更新CDH

1. 注意先辦法namenode資料, 

2. # cd /mnt/hadoop/hdfs/name
   # tar -cvf /root/nn_backup_data.tar .      

3. 點搜尋框左邊小禮品盒子圖示,添加新版本parcel的url,添加後下面會多出個小圖,點激活就可以自動更新了

至此完成所有更新.

六、錯誤整理

1. 更新過程出現namenode啟動失敗問題,

java.io.IOException:

File system image contains an old layout version -51.

An upgrade to version -55 is required.

Please restart NameNode with the "-rollingUpgrade started" option if a rolling upgraded is already started; or restart NameNode with the "UPGRADE" to start a new upgrade.

手動到master節點啟動後,停掉,再通過web頁面重新開機後正常

hdfs --config /run/cloudera-scm-agent/process/XXX-hdfs-NAMENODE namenode -upgrade

2.另一個可能出現的報錯:

 Get corrupt file blocks returned error: Cannot run listCorruptFileBlocks because replication queues have not been initialized.

删掉namenode節點的previous/目錄即可

3. 由于前一次安裝socket檔案(/var/run/hdfs-sockets)沒有正常删除，造成datanode啟動失敗，手動修改其權限為root解決

參考連結及文檔:

報錯解決(可能要翻牆):http://www.abcn.net/2014/04/upgrade-from-cdh5-beta2-to-cdh5-ga.html

官方pdf:Cloudera-Manager-Administration-Guide.pdf

CDH官方更新文檔:http://www.cloudera.com/content/cloudera-content/cloudera-docs/CM5/latest/Cloudera-Manager-Managing-Clusters/cm5mc_upgrade_tocdh5_using_parcels.html

轉自http://my.oschina.net/MaTech/blog/223150