CDH5 大資料實驗平台搭建筆記

本實驗環境4台linux16.04 都是安裝在VMware Workstation的虛拟機。

分别是 CDH01 CDH02 CDH03 CDH04 其中 CDH01是主伺服器 主伺服器25G+8G 其它20G+4G

以下四台機器都需要

1.修改root密碼 一樣的密碼

1. apt-get install openssh-server openssh-client

apt-get install ntp

3.在主機 ssh-keygen -t rsa 生成 /root/.ssh/下 密鑰檔案和私鑰檔案 id_rsa,id_rsa.pub

1. 修改 vi /etc/ssh/sshd_config

   增加 PermitRootLogin yes 允許root遠端登入

/etc/init.d/ssh restart重新開機服務

5.從CDH01複制id_rsa.pub到其他機器的 /root/.ssh/authorized_keys

在CDH02,CDH03,CDH04建立目錄 /root/.ssh

scp id_rsa.pub [email protected]/root/.ssh/authorized_keys

1. 修改hosts檔案
2. /etc/hosts

vi /etc/hostname

192.168.196.145 CDH01

192.168.196.146 CDH02

192.168.196.147 CDH03

192.168.196.148 CDH04

1. 下載下傳jdk1.8 到 /var/cache/apt

   網上下載下傳oracle-j2sdk1.8_1.8.0+update20_amd64.deb

安裝下載下傳的檔案

dpkg -i oracle-j2sdk1.8_1.8.0+update20_amd64.deb

輸入javac -version 測試 顯示版本 javac 1.8.0_20

8.在 CDH01 上安裝 mysql

sudo apt-get install mysql-server

apt-get isntall mysql-client

sudo apt-get install libmysqlclient-dev

sudo netstat -tap | grep mysql

mysql -u root -p

vi /etc/mysql/mysql.cnf.d/mysqld.cnf

bindaddress = 0.0.0.0 (允許遠端登入mysql)

grant all privileges on . to root@'%' identified by '密碼*' with grant option;

flush privileges;

1. cloudera-manager安裝

在CDH01目錄 /var/cache/apt/archives

cd /var/cache/apt/archives

設定 apt資料源

curl "http://archive.cloudera.com/cm5/ubuntu/xenial/amd64/cm/cloudera.list" -o /etc/apt/sources.list.d/cloudera_xenial.list

curl -s

http://archive.cloudera.com/cm5/ubuntu/xenial/amd64/cm/archive.key

| sudo apt-key add

确認：/etc/apt/sources.list.d/cloudera-manager.list檔案為以下内容：

deb [arch=amd64]

https://archive.cloudera.com/cm5/ubuntu/xenial/amd64/cm/

xenial-cm5.13.1 contrib

apt-get update

apt-get install cloudera-manager-server cloudera-manager-agent

10、修改Cloudera-Manager-Server的配置檔案db.properties，設定MySql連接配接

　　修改Cloudera-Manager-Server的配置檔案db.properties,設定剛才我們在（4.7）Mysql中建立的cmf資料庫、使用者名、密碼（4台機器都要執行）

root@m1:~# vi /etc/cloudera-scm-server/db.properties

com.cloudera.cmf.db.type=mysql

com.cloudera.cmf.db.host=CDH01

com.cloudera.cmf.db.name=scm

com.cloudera.cmf.db.user=scm

com.cloudera.cmf.db.password=scm

1. https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.45.tar.gz

tar -zxvf mysql-connector-java-5.1.45.tar.gz

cd mysql-connector-java-5.1.45

mv mysql-connector-java-5.1.45.bin.jar /usr/share/cmf/lib

12.建立cm資料庫

/usr/share/cmf/schema/scm_prepare_database.sh mysql scm -hlocalhost -uroot -pxxxx --scm-host localhost scm scm scm

13.建立使用者（這個好像也可以自動建立，無需手動建立使用者）

useradd --system --home=/opt/cm/run/cloudera-scm-server/ --no-create-home --shell=/bin/false -comment "Cloudera SCM User" cloudera-scm

也可以根據cloudera平台運作後，上面提示CDH01未建立hive等...幾個使用者和使用者組，分别再建立

useradd Hive

....

1. ufw disable (關閉防火牆)

15.啟動主伺服器服務

service cloudera-scm-server start

service cloudera-scm-server status

netstat -ap | grep 7180

(要等一會 才能看到7180服務已啟動)

16.複制以下檔案到 /opt/cloudera/parcel-repo

CDH-5.13.1-1.cdh5.13.1.p0.2-xenial.parcel

CDH-5.13.1-1.cdh5.13.1.p0.2-xenial.parcel.sha1

manifest.json

把CDH-5.13.1-1.cdh5.13.1.p0.2-xenial.parcel.sha1 改名為 CDH-5.13.1-1.cdh5.13.1.p0.2-xenial.parcel.sha

17.複制cloudera-manager的安裝檔案到其它機器

scp cloudera* root@CDH02:/var/cache/apt/archives

scp cloudera* root@CDH03:/var/cache/apt/archives

scp cloudera* root@CDH04:/var/cache/apt/archives

1. http://192.168.196.145:7180 admin/admin

在浏覽器打開以上網址，賬号密碼是admin/admin,然後按向導開始安裝 cloudera 平台及各元件。

以下是成功安裝後的運作界面：