1 ssh互訪(可以不配置)
2 時間同步服務NTP配置
1.1 在一台主機上編輯配置檔案/etc/ntp.conf
vim /etc/ntp.conf
去掉一下兩行前面的#号
#server 127.127.1.0 # local clock
#fudge 127.127.1.0 stratum 10
1.2 在其他主機上分别編輯配置檔案/etc/ntp.conf
vim /etc/ntp.conf
在#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
行下面增加行:
server master01 #第一步的主機名
1.3 所有節點啟動ntpd服務:
service ntpd start
chkconfig ntpd on
3 安裝并啟動httpd服務
3.1配置yum
cd /etc/yum.repos.d/
rename .repo .repo.bak CentOS-*.repo
vim /etc/yum.repos.d/tmp.repo
寫入并儲存如下内容:
[tmp]
name=tmp
baseurl=file:///opt/centos6.3_lite #離線yum源
enabled=1
gpgcheck=0
3.2 安裝 httpd
yum -y install httpd
service httpd restart
chkconfig httpd on
3.3 釋出http内容
釋出cm源:
cd /opt/packs/
tar xzvf cm.tar.gz -C /opt/ ##解壓cm安裝包到/opt目錄
ln -s /opt/cm5.3.0/ /var/www/html/cm
ls -l /var/www/html/cm/
釋出parcels源:
ln -s /opt/cdh5.3.0/ /var/www/html/parcels
ls -l /var/www/html/parcels/
權重限
chmod -R a+rx /var/www/html/parcels
chmod a+rx /var/www/html
chmod a+rx /var/www
chmod a+rx /var
chmod a+rx /
3.4 将cm目錄配置到yum
方法如3.1
4 安裝cm server
4.1 安裝jdbc驅動
rpm -qa | grep -i mysql | xargs rpm -e --nodeps
——解除安裝原有mysql
yum -y install mysql-connector-java
——請確定沒有報錯
4.2 安裝cm server
選一台主機安裝
yum -y install cloudera-manager-server*
yum -y install mysql-server
啟動mysql
service mysqld start
配置mysql
mysql>create database cmf default character set utf8 collate utf8_general_ci;
mysql>grant all on cmf.* to 'cmf'@'localhost' identified by 'cmf';
mysql>flush privileges;
mysql>exit;
運作自動建表語句
/usr/share/cmf/schema/scm_prepare_database.sh -P 3306 mysql cmf cmf cmf
啟動cm server
service cloudera-scm-server start
檢視是否啟動成功:
service cloudera-scm-server status
5 分發安裝包
在DM的server節點安裝就緒後,通路DM-serverIP:7180,以admin賬戶登陸,
預設密碼為admin。(首次登入管理界面時,選擇“企業試用版”)。
5.1 選擇全部主機
5.2 叢集安裝
選擇“使用parcels”,同時點選更多選項:并且填寫之前配置好的parcel路徑,為:
第一個目錄為parcels的目标目錄
第三個目錄為3.3中的httpd服務的cdh目錄
繼續
第三個紅框為3.3中的httpd服務的cm目錄
一直繼續直到分發完成(最後先不要安裝任何元件)
6 安裝監控服務
建立資料庫
mysql>create database rman default character set utf8 collate utf8_general_ci;
mysql>grant all on rman.* to 'rman'@'ROLE_HOST' identified by 'rman';
mysql>flush privileges;
cm頁面右上角添加cloudera manager service
選擇剛才建立的資料庫
7 安裝需要的cdh元件
7.1 cdh自帶的元件很簡單頁面安裝就可以
7.2 cdh不自帶的元件(如 kafka kudu)安裝
将kafka安裝包放在主節點下的/var/www/html/parcels/kafka路徑下:
mkdir /var/www/html/parcels/kafka/
cd /opt/packs/
unzip kafka_install.zip -d /opt/
cd /opt/kafka/
cp CLABS_KAFKA-* manifest.json /var/www/html/parcels/kafka/
ll /var/www/html/parcels/kafka/
将CLABS_KAFKA-1.0.0.jar包放在/opt/cloudera/csd目錄下:
cp CLABS_KAFKA-1.0.0.jar /opt/cloudera/csd/
重新開機clouderamanager
service cloudera-scm-server restart
進入頁面的“主機”頁面——Parcel頁面,點選‘編輯設定’,遠端Parcel存儲庫URL添加kafka的存儲路徑
傳回parcel頁面找到KAFKA依次點選下載下傳 配置設定 激活
在頁面添加即可