ubuntu18.04下安裝ambari2.7.3+HDP3.1.0

• １.簡介
• ２.環境準備
• ３.配置http服務
• ４.配置apt本地安裝
• ５.安裝ambari-server
• • 5.1 ambari配置
  • 5.2 ambri-server 啟動
• ６. 安裝元件
• • 6.1 輸入叢集名字
  • 6.2 選擇hdp版本
  • 6.3 配置本機免密
  • 6.4 配置私鑰
  • 6.5 選擇元件
  • 6.6 安裝hive資料庫
  • 6.7 繼續完成安裝
• 7. 元件shell指令驗證
• • 7.1 hadoop
  • 7.2 hive
  • 7.3 hbase
  • 7.4 spark

１.簡介

本人介紹ubuntu 18.04下Hortonwork 的ambari 2.7.3 和HDP 3.1.0的安裝，效果如下。HDP與CDH的對比，HDP版本更新較快，因為Hortonworks内部大部分員工都是apache代碼貢獻者，尤其是Hadoop 2.0的貢獻者。

• 目前Apache社群Hadoop最新版本：3.2.0
• 目前CDH最新版支援Hadoop版本：3.0.0
• 目前HDP最新版支援Hadoop版本：3.1.1

２.環境準備

先下載下傳需要用到的官方安裝包，分别有如下４個檔案：

項目	Value
ambari	http://public-repo-1.hortonworks.com/ambari/ubuntu18/2.x/updates/2.7.3.0/ambari-2.7.3.0-ubuntu18.tar.gz
HDP	http://public-repo-1.hortonworks.com/HDP/ubuntu18/3.x/updates/3.1.0.0/HDP-3.1.0.0-ubuntu18-deb.tar.gz
HDP-UTILS	http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/ubuntu18/HDP-UTILS-1.1.0.22-ubuntu18.tar.gz
HDP-GPL	http://public-repo-1.hortonworks.com/HDP-GPL/ubuntu18/3.x/updates/3.1.0.0/HDP-GPL-3.1.0.0-ubuntu18-gpl.tar.gz

３.配置http服務

完成軟體源的更新後，輸入以下的指令進行安裝Apache伺服器。

#sudo apt-get install apache2

#mkdir -p /var/www/html

将上文的　ambari HDP HDP-GPL HDP-UTILS 解壓後放入　/var/www/html

４.配置apt本地安裝

在/etc/apt/sources.list.d目錄下，新增以下檔案

ambari.list

deb http://127.0.0.1/ambari/ubuntu18/2.7.3.0-139/ Ambari main
           

ambari-hdp.list

deb http://127.0.0.1/HDP-GPL/ubuntu18/3.1.0.0-78/ HDP-GPL main
deb http://127.0.0.1/HDP-UTILS/ubuntu18/1.1.0.22/ HDP-UTILS main
deb http://127.0.0.1/HDP/ubuntu18/3.1.0.0-78/ HDP main
           

在浏覽器輸入url進行簡單驗證

最後運作 apt-get update　進行更新

５.安裝ambari-server

5.1 ambari配置

執行 apt-get install ambari-server成功後，執行

ambari-server setup 開始建立配置

選擇自定義JDK

/usr/local/jdk1.8.0_181

一直選擇y，到選擇資料庫選擇1，後一直回車即可

最後成功有這樣的提示

5.2 ambri-server 啟動

執行 ambari-server start ，成功後，打開外網8080端口，即可通路，輸入admin/admin

６. 安裝元件

6.1 輸入叢集名字

6.2 選擇hdp版本

選擇本地倉庫，隻保留ubuntu,url 輸入：

HDP-GPL http://127.0.0.1/HDP-GPL/ubuntu18/3.1.0.0-78/

HDP-UTILS http://127.0.0.1/HDP-UTILS/ubuntu18/1.1.0.22/

HDP http://127.0.0.1/HDP/ubuntu18/3.1.0.0-78/

6.3 配置本機免密

ssh-keygen -t rsa 後，一直回車

cd ~/.ssh

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

然後測試ssh localhost ,如果正确即可，有問題可以自己排查一下

6.4 配置私鑰

cat /root/.ssh/id_rsa 或者内容後，copy到輸入框

6.5 選擇元件

6.6 安裝hive資料庫

安裝mysql ：

sudo apt-get install mysql-server

執行mysql後，執行下面腳本：

create database hive;
CREATE USER 'hive'@'%' IDENTIFIED BY 'hive';
GRANT ALL PRIVILEGES ON *.* TO 'hive'@ '%' IDENTIFIED BY 'hive' WITH GRANT OPTION;
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'localhost' IDENTIFIED BY 'hive' WITH GRANT OPTION;
FLUSH PRIVILEGES;
           

注冊mysql驅動，在shell下面執行：

ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java-8.0.13.jar
           

配置對應資訊，注意修改主機名

6.7 繼續完成安裝

7. 元件shell指令驗證

7.1 hadoop

7.2 hive

7.3 hbase

7.4 spark

參考資料：

1. Ubuntu16.04安裝Ambari 2.7.3
2. 狸銘的部落格