天天看點

Ambari部署超詳細

1、文檔編寫目的

Apache Ambari是一種基于Web的工具,支援Apache Hadoop叢集的供應、管理和監控。Ambari已支援大多數Hadoop元件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。友善對叢集的監控和管理。

内容概要

一基礎環境安裝

1建立inforpush賬号

2配置hostname

3配置ssh

4配置ulimit

5配置umask

6安裝JDK

7配置ntpd

8安裝Scala

二、配置ambari

1配置SSH免密碼登入

2配置本地庫

3安裝amabri

4安裝amabri-agent

5安裝部署HDP叢集

1建立使用者賬号并加入響應的組

2配置hostname

1.在所有伺服器上按照規劃修改hostname

vi /etc/hostname

2.修改/etc/hosts

vi /etc/hosts

添加所有伺服器的hostname

例如:

10.8.1.6 node1

10.8.1.7 node2

10.8.1.8 node3

10.8.1.9 node4

3配置ssh

1.在所有伺服器上修改/etc/ssh/ssh_config,Port改為6801

echo “Port 6801” >> /etc/ssh/ssh_config

.4配置ulimit

1.在所有伺服器上修改ulimit限制

echo “ulimit -n 65000” >> /etc/profile

echo “* soft nofile 65000” >> /etc/security/limits.conf

echo “* hard nofile 65000” >> /etc/security/limits.conf

5配置umask

1.在所有伺服器上修改/etc/profile

vi /etc/profile

umask = 022

2.使/etc/profile生效

source /etc/profile

6安裝JDK

1.在所有伺服器上安裝JDK1.8

2.将jdk-8u77-linux-x64.gz拷貝到待安裝機器,然後解壓

tar xvf jdk-8u77-linux-x64.gz

mv jdk1.8.0_77 /usr/local/

3.配置JAVA_HOME、PATH環境變量

vi /etc/profile

在配置最後添加以下内容并儲存:

設定環境變量set JAVA_HOME

export JAVA_HOME=/usr/local/jdk1.8.0_77/

export PATH=.: J A V A H O M E / b i n : JAVA_HOME/bin: JAVAH​OME/bin:PATH

4.生效配置

source /etc/profile

5.驗證配置生效

java -version 顯示詳細的版本資訊

7配置ntpd

1.在所有伺服器上安裝ntp

yum install ntp

注:這裡我們選擇将node1作為NTP伺服器,其他伺服器同步node1

2.配置NTP伺服器的/etc/ntp.conf

vi /etc/ntp.conf

修改restrict參數,配置需要同步的伺服器的網段。

3.配置其他伺服器的/etc/ntp.conf

vi /etc/ntp.conf

修改server參數,配置NTP伺服器的IP

4.配置完成之後重新開機ntp服務

systemctl restart ntpd

5.檢視時間同步

ntpq –p

注:remote參數:用于同步的遠端節點或伺服器

8安裝Scala

1.在所有需要部署Spark的伺服器上安裝scala-2.11.7

2.将scala-2.11.7.tgz拷貝到待安裝機器,然後解壓

tar xvf scala-2.11.7.tgz

mv scala-2.11.7 /usr/local/

3.配置SCALA_HOME、PATH環境變量

vi /etc/profile

在配置最後添加以下内容并儲存:

設定 scala 環境變量set SCALA_HOME

export SCALA_HOME=/usr/local/scala-2.11.7/

export PATH=.: S C A L A H O M E / b i n : SCALA_HOME/bin: SCALAH​OME/bin:PATH

4.生效配置

source /etc/profile

5.驗證配置生效

scala -version 檢視scala 具體版本資訊

HDP元件安裝

1、配置ssh 免密

.2配置本地庫

1.準備工作

下載下傳AMBARI-2.1.2-377-centos7.tar、HDP-2.3.2.0-centos7-rpm.tar、HDP-UTILS-1.1.0.20-centos7.tar,将下載下傳的安裝包上傳(可以使用winscp軟體)到需要安裝Ambari-server的伺服器上(這裡我們選擇Inforpush1)。

也可以從以下位址遠端下載下傳:

Ambari:http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.1.2/AMBARI-2.1.2-377-centos7.tar.gz

HDP-2.3.2.0:http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.3.2.0/HDP-2.3.2.0-centos7-rpm.tar.gz

HDP-UTILS-1.1.0.20:http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos7/HDP-UTILS-1.1.0.20-centos7.tar.gz

注:安裝Ambari-server的伺服器必須能聯公網。

1.準備工作

從SVN上下載下傳AMBARI-2.1.2-377-centos7.tar、HDP-2.3.2.0-centos7-rpm.tar、HDP-UTILS-1.1.0.20-centos7.tar,将下載下傳的安裝包上傳(可以使用winscp軟體)到需要安裝Ambari-server的伺服器上(這裡我們選擇Inforpush1)。

也可以從以下位址遠端下載下傳:

Ambari:http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.1.2/AMBARI-2.1.2-377-centos7.tar.gz

HDP-2.3.2.0:http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.3.2.0/HDP-2.3.2.0-centos7-rpm.tar.gz

HDP-UTILS-1.1.0.20:http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos7/HDP-UTILS-1.1.0.20-centos7.tar.gz

注:安裝Ambari-server的伺服器必須能聯公網。

3.記住ambari、hdp的浏覽目錄,測試在浏覽器能否通路得到。

名稱 BaseURL

Ambari http://node1/AMBARI-2.1.2

HDP http://node/HDP

HDP-UTILS http://node/HDP-UTILS-1.1.0.20

下圖是HDP的目錄

Ambari部署超詳細

4.vi /etc/yum.repos.d/infopush.repo

輸入以下内容,配置本地源:

[Updates-ambari-2.1.2]

name=ambari-2.1.2 – Updates

baseurl=http://Inforpush1/ambari/centos7/

gpgcheck=1

gpgkey=http://Inforpush1/ambari/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

[HDP-2.3.2.0]

name=HDP Version - HDP-2.3.2.0

baseurl=http://Inforpush1/HDP/centos7/2.x/updates/2.3.2.0

gpgcheck=1

gpgkey=http://Inforpush1/HDP/centos7/2.x/updates/2.3.2.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

[HDP-UTILS-1.1.0.20]

name=HDP Utils Version - HDP-UTILS-1.1.0.20

baseurl=http://Inforpush1/HDP-UTILS-1.1.0.20/repos/centos7

gpgcheck=1

gpgkey=http://Inforpush1/HDP/centos7/2.x/updates/2.3.2.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

5.确認本地源是否生成

yum repolist

Ambari部署超詳細

4.3.3安裝amabri

1.開始安裝amabri-server

yum install ambari-server

安裝過程終端會輸出以下資訊,最後提示安裝完成。

Ambari部署超詳細

2.配置amabri-server

ambari-server setup -j /usr/local/jdk1.8.0_77/

-j java_home [optinal] -j後面帶的參數是指定jdk的目錄,如果不指定-j 參數的話,會預設安裝oracle-JDK.

3.終端輸出 Customize user account for ambari-server daemon ,輸入n,以root使用者身份運作amabri。選y可以不以root身份運作ambari,需要輸入想要運作的使用者名。

4.下一步提示Enter advanced database configuration,進行資料庫選擇,預設是n,使用PostgreSQL 資料庫。我們選的是n,使用預設的資料庫。

5.提示completed successfully,配置完成。

6.如果想修改配置,可以重新執行 ambari-server setup ,一步步往下走即可。

Ambari部署超詳細

7.啟動、停止amabri-server,檢視amabri-server狀态

啟動:ambari-server start

狀态:ambari-server status

停止:ambari-server stop

Ambari部署超詳細

1.配置ambari-agent

vi /etc/ambari-agent/conf/ambari-agent.ini

修改hostname參數,配置為ambari-server伺服器的IP。

2.啟動ambari-agent

啟動:ambari-agent start

狀态:ambari-agent status

停止:ambari-agent stop

4.3.4安裝部署HDP叢集

1.浏覽器通路 http://node1:8080,進入amabri登入頁面,使用者名:admin,密碼: admin

Ambari部署超詳細

選擇 Launch Install Wizard:

Ambari部署超詳細

第一步:Get starte,給叢集起個名字

第二步:Select stack,選擇 hdp2.3, 将除redhat7 以外的複選框去掉勾,并且将hdp以及hdp-utiles的baseurl 替換掉預設的值。

Ambari部署超詳細

5.第三步:Install Optins,Target Hosts裡輸入需要安裝HDP的伺服器的hostname。因為提前安裝了amabri-agent,是以我們選擇“Perform manual registration on hosts and do not use SSH”

Ambari部署超詳細

6.第四步:Confirm hosts,

Ambari部署超詳細

如果提示有警告資訊,可以點開檢視并處理,也可以跳過不管(建議處理)。

Ambari部署超詳細

7.第五步:Choose service,選擇需要安裝的HDP程式。這裡我們需要安裝的有ZooKeeper、Storm、Ambari Metrics、Kafka。

Ambari部署超詳細

8.第六步:Assign masters,根據負載均衡的原則,将要安裝的服務配置設定到各台機器。提示:各個元件的Master可都安在一台機器上,Kafka和ZooKeeper每台機器都要安裝。

Ambari部署超詳細

9.第七步:Assign slaves and clients,可根據需要在伺服器上安裝元件。建議所有裝置都安裝Supervisor和Client。

Ambari部署超詳細

10.第八步:Custom services,看一下各項的參數配置。 Storm元件需要修改supervisor.slots.ports,

并增加需要的端口

Ambari部署超詳細

11.第九步:Review,确認所有安裝選項,如果覺得有問題,可以傳回修改。

Ambari部署超詳細
Ambari部署超詳細
Ambari部署超詳細
Ambari部署超詳細