天天看點
傳回

Ambari安裝配置HdaoopAmbari安裝配置Hdaoop

Ambari安裝配置Hdaoop

hdp1 192.168.86.157

hdp2 192.168.86.158

hdp3 192.168.86.159

1.下載下傳軟體

ambari-2.7.3.0-centos7.tar.gz

HDP-3.1.0.0-centos7-rpm.tar.gz

HDP-UTILS-1.1.0.22-centos7.tar.gz

jdk-8u102-linux-x64.tar.gz

mysql-5.7.27-1.el7.x86_64.rpm-bundle.tar

2.機器準備

在三台機器上進行

2.1關閉防火牆 

#删除開機自啟配置
systemctl disable firewalld.service
#關閉防火牆服務
systemctl stop firewalld.service
#selinux設定關閉
setenforce 0
#修改selinx配置檔案
sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config

2.2解除安裝自帶JDK安裝jdk

#檢視自帶JDK
rpm -qa|grep java
#解除安裝自帶JDK
rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.65-3.b17.el7.x86_64
rpm -e --nodeps java-1.8.0-openjdk-1.8.0.65-3.b17.el7.x86_64

上傳JDK解壓

#建立檔案夾
mkdir /usr/local/java
#然後上傳到這個路徑進行解壓
tar -zxvf jdk-8u271-linux-x64.tar.gz
#然後複制JDK到hdp2 hdp2兩台機器
scp jdk-8u271-linux-x64.tar.gz [email protected]:/usr/local/java
scp jdk-8u271-linux-x64.tar.gz [email protected]:/usr/local/java
#分别解壓

配置JDK

vim /etc/profile
#末尾加入以下的内容配置
export JAVA_HOME=/usr/local/java/jdk1.8.0_271
export CLASSPATH=$:CLASSPATH:$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin
#(5)jdk生效
source /etc/profile

2.2設定主機名

在三台機器進行

vim /etc/hosts

#每個節點的hosts檔案中添加如下配置：
192.168.86.157 hdp1
192.168.86.158 hdp2
192.168.86.159 hdp3
#四、修改network - 所有機器
vim /etc/sysconfig/network
# Created by anaconda
NETWORKING=yes
#通過ping主機名看是否通訊正常。
ping hdp2
ping hdp3
#五、打開安全限制 - 所有機器
vim /etc/security/limits.conf

#檔案末尾新增如下
* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072

2.3免密登入

在hdp1中

ssh-keygen
#一路回車
#複制公鑰米到其他機器
ssh-copy-id hdp2
ssh-copy-id hdp3
ssh-copy-id hdp1
#測試免密登入
ssh hdp2 date;ssh hdp3 date;ssh hdp1 date;
#所有機器執行設定
sudo sh -c "echo umask 0022 >> /etc/profile"

2.4配置本地yum源 

#沒有cdrom目錄則建立
mkdir /mnt/cdrom
#挂載指令
mount /dev/sr0/ mnt/cdrom/

# 編輯yum配置檔案
cat >> /etc/yum.repos.d/CentOS-Media.repo <<EOF
# 添加如下内容
[local]
name=local
#路徑需與你光驅或ISO挂載的路徑相同
baseurl=file:///mnt/cdrom
gpgcheck=0
#enable後面值必須修改為1
enable=1
EOF
# 将預設的yum源配置檔案CentOS-Base.repo 改名，使其失效
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.back

2.5安裝httpd 

#安裝httpd服務 - 主伺服器
yum -y install httpd
service httpd restart
chkconfig httpd on
#上傳四個包到/var/www/html目錄下 - 主伺服器 安裝完成後，會生成 /var/www/html目錄（相當于Tomcat的webapps目錄），進入到/var/www/html目錄下，
#建立ambari和hdp目錄，用來存放安裝檔案.
mkdir -p /var/www/html/ambari/
mkdir -p /var/www/html/hdp/
mkdir -p /var/www/html/hdp/HDP-UTILS/
mkdir -p /var/www/html/hdp/HDP-GPL/
#解壓四個檔案到各自檔案夾
tar -zxvf ambari-2.7.3.0-centos7.tar.gz -C /var/www/html/ambari/
tar -zxvf HDP-3.1.0.0-centos7-rpm.tar.gz -C /var/www/html/hdp/
tar -zxvf HDP-UTILS-1.1.0.22-centos7.tar.gz -C /var/www/html/hdp/HDP-UTILS/
tar -zxvf HDP-GPL-3.1.0.0-centos7-gpl.tar.gz -C /var/www/html/hdp/HDP-GPL/
#3、啟動httpd服務：

systemctl start httpd    # 啟動httpd
systemctl status httpd    # 檢視httpd狀态
systemctl enable httpd    # 設定httpd開機自啟

#現在可以通過通路

http://192.168.86.157/ambari/ 
http://192.168.86.157/hdp/

3.制作本地源

3.1安裝本地源-主伺服器 

#下載下傳ambari.repo檔案  自己先下載下傳到本地然後上傳過去
wget -O /etc/yum.repos.d/ambari.repo http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.3.0/ambari.repo

#修改配置檔案：
vim /etc/yum.repos.d/ambari.repo
#修改成
#VERSION_NUMBER=2.7.3.0-139
[ambari-2.7.3.0]
#json.url = http://public-repo-1.hortonworks.com/HDP/hdp_urlinfo.json
name=ambari Version - ambari-2.7.3.0
baseurl=http://192.168.86.157/ambari/ambari/centos7/2.7.3.0-139
gpgcheck=1
gpgkey=http://192.168.86.157/ambari/ambari/centos7/2.7.3.0-139/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

#(2)配置HDP和HDP-TILS
touch /etc/yum.repos.d/HDP.repo
vim HDP/centos7/3.1.0.0-78/hdp.repo

#VERSION_NUMBER=3.1.0.0-78
[HDP-3.1.0.0]
name=HDP Version - HDP-3.1.0.0
baseurl=http://192.168.86.157/hdp/HDP/centos7/3.1.0.0-78
gpgcheck=1
gpgkey=http://192.168.86.157/hdp/HDP/centos7/3.1.0.0-78/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

[HDP-UTILS-1.1.0.22]
name=HDP-UTILS Version - HDP-UTILS-1.1.0.22
baseurl=http://192.168.86.157/hdp/HDP-UTILS/HDP-UTILS/centos7/1.1.0.22
gpgcheck=1
gpgkey=http://192.168.86.157/hdp/HDP-UTILS/HDP-UTILS/centos7/1.1.0.22/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
#修改 hdp.gpl.repo
#VERSION_NUMBER=3.0.0.0-1634
[HDP-GPL-3.1.0.0]
name=HDP-GPL Version - HDP-GPL-3.1.0.0
baseurl=http://192.168.86.157/hdp/HDP-GPL/HDP-GPL/centos7/3.1.0.0-78
gpgcheck=1
gpgkey=http://192.168.86.157/hdp/HDP-GPL/HDP-GPL/centos7/3.0.1.0-78/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

3.2清理緩存，拷貝到子節點 

#清理一下yum的緩存

yum clean all
yum makecache
yum repolist
3、将建立好的檔案拷貝到子節點 - 主伺服器

cd /etc/yum.repos.d
scp ambari.repo HDP.repo [email protected]:/etc/yum.repos.d/
scp ambari.repo HDP.repo [email protected]:/etc/yum.repos.d/

4.安裝Ambari-server

4.1安裝mysql 

#1、以mysql為資料庫安裝 - 主伺服器
#mysql包版本：mysql-5.7.32-1.el7.x86_64.rpm-bundle.tar
#上傳到主節點/usr/local/mysql目錄下并解壓。
  1. 檢查mysql是否被安裝 
    rpm -qa | grep -i mysql
【若有安裝過 mysql，則删除相關檔案】
rpm -e [--nodeps] 包名（此處包名是上面指令查出來的名字）
  2. 解壓MySQL的二進制安裝包 
    #安裝包解壓
tar -xvf mysql-5.7.32-1.el7.x86_64.rpm-bundle.tar
  3. Mysql按順序安裝 
    先裝 common
    再裝 libs（確定 mariadb 已解除安裝，centos7 預設支援 mariadb，不支援 mysql，不解除安裝會出現沖突）
    再裝 client
    最後裝 server
rpm -ivh mysql-community-common-5.7.32-1.el7.x86_64.rpm
rpm -qa | grep mariadb
rpm -e --nodeps mariadb-libs-5.5.44-2.el7.centos.x86_64
rpm -ivh mysql-community-libs-5.7.32-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-5.7.32-1.el7.x86_64.rpm
rpm -ivh mysql-community-server-5.7.32-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-compat-5.7.32-1.el7.x86_64.rpm
  4. 啟動Mysql服務 
    #Mysql服務啟動
systemctl start mysqld
  5. mysql首次登入 
    # 檢視初始密碼
cat /var/log/mysqld.log | grep password

#mysql登入
mysql -uroot -p
#修改密碼政策
set global validate_password_policy=0;
set global validate_password_length=1;
#修改密碼
ALTER USER [email protected] IDENTIFIED  BY '123456';

# 建立ambari資料庫及使用者名和密碼
create database ambari character set utf8;
CREATE USER 'ambari'@'%'IDENTIFIED BY 'Ambari123';
GRANT ALL PRIVILEGES ON ambari.* TO 'ambari'@'%';
GRANT ALL PRIVILEGES ON ambari.* TO 'ambari'@'%' IDENTIFIED BY 'Ambari123';
FLUSH PRIVILEGES;
 
# 建立hive資料庫及使用者名和密碼（如果不需要安裝hive服務，則不需要配置以下資料庫）
create database hive character set utf8;
CREATE USER 'hive'@'%'IDENTIFIED BY 'Hive123';
GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'%';
GRANT ALL PRIVILEGES ON hive.* TO 'ambari'@'%'IDENTIFIED BY 'Hive123';
FLUSH PRIVILEGES;
grant all privileges on *.* to 'hive'@'hdp2.tolls.dot.state.fl.us' identified by 'Hive123';

           
    #安裝server
yum -y install ambari-server

4.3mysql與ambari-server的連接配接 

#下載下傳mysql-connector-java-5.1.40.jar放到root檔案下
mkdir /usr/share/java
cp /root/mysql-connector-java-5.1.40.jar /usr/share/java/mysql-connector-java.jar
cp /usr/share/java/mysql-connector-java-5.1.32.jar /var/lib/ambari-server/resources/mysql-jdbc-driver.jar
vi /etc/ambari-server/conf/ambari.properties
#添加添加server.jdbc.driver.path=/usr/share/java/mysql-connector-java.jar

4.4初始化ambari-server 

ambari-server setup
#在啟動ambari-server 之前需要先配置ambari
ambari-server setup
#接收預設的賬戶使用請求
y
#詢問輸入使用者名 直接回車會預設選擇root作為賬戶

#設定JDK。輸入：2 選擇自定義JDK 然後會讓你輸入你的JAVA_HOME
/
#然後會詢問gpl license 選擇y
y
#輸入進階資料庫配置
y
#選擇資料庫類型 選擇3 mysql/mariaDB
3
#然後輸入hostname port等資料庫配置資訊
hdp1
3306
ambari
Ambari123
Ambari123
#詢問是否連接配接
y
#然後配置完成

4.5啟動ambari-server 

ambari-server start
#如果出現錯誤，請注意檢視日志，根據具體的錯誤内容進行處理，預設ambari-server的日志在/var/log/ambari-server/ambari-server.log裡面。如果在處理日志的過程中或者後面安裝的過程中出現一些莫名的錯誤，可以重置的安裝。
#如果上面進行的預設資料庫的配置，可以使用下面的代碼重置ambari-server。
ambari-server stop
ambari-server reset
ambari-server setup

5.安裝部署Hadoop叢集

1.登入界面 

#預設管理者賬戶登入， 賬戶：admin 密碼：admin
http://192.168.86.157:8080

[外鍊圖檔轉存失敗,源站可能有防盜鍊機制,建議将圖檔儲存下來直接上傳(img-czln4O9s-1619607641158)(D:/mark/image/image-20201111163927986.png)]

2.安裝向導

(1)Launch Install Wizard

(2)配置叢集名稱；

(3)選擇版本并修改本地源位址

#(1)Launch Install Wizard
#(2)配置叢集名稱；
HDP1
#(3)選擇版本并修改本地源位址
選HDP-3.0.0.0;
選Use Local Repository;
選redhat7:
HDP-3.0:http://192.168.86.157/hdp/HDP/centos7/
HDP-3.0-GPL:http://192.168.86.157/hdp/HDP-GPL/HDP-GPL/centos7/3.0.1.0-187
HDP-UTILS-1.1.0.22:http://192.168.86.157/hdp/HDP-UTILS/HDP-UTILS/centos7/1.1.0.22
#配置節點和密鑰
hdp1
hdp2
hdp3
#把主節點的shh檔案id_rsa下載下傳下來，并上傳

#然後會啟動三個節點的服務
#然後選擇配置主節點 下一步
#給所有的服務配置密碼
ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java-5.1.32.jar
hadoop ambari
上一篇: 視訊編碼h264怎麼看_你不知道短視訊怎麼賺錢? 趕緊看過來！
下一篇: 執行docker-compose up -d指令時出現錯誤：Get https://registry-1.docker.io/v2/: net/http: request canceled while

繼續閱讀