天天看點

使用ambari快速部署Hadoop叢集

Ambari是 Apache Software Foundation 中的一個頂級項目。Ambari可以建立、管理、監控 Hadoop 的叢集。包括整個Hadoop生态圈(例如 Hive,Hbase,Sqoop,Zookeeper 等)。無論是初學者像快速部署一套Hadoop環境,還是用于生産的自動化部署,Ambari都可以滿足。

你可以在官網

http://ambari.apache.org/

擷取最新的Ambari的内容,目前Ambari還支援流行的 Spark,Storm 等計算架構,Kafka消息隊列、以及資源排程平台 YARN 等。

Ambari 自身也是一個分布式架構的軟體,主要由兩部分組成:Ambari Server 和 Ambari Agent。我們可以通過 Ambari Server 通知 Ambari Agent 安裝對應的軟體;甚至連Ambari Agent我們都可以在Web界面上來進行安裝和部署。

Ambari Agent 會定時地發送各個機器每個項目元件的目前狀态給 Ambari Server,并在Web界面上進行展示彙總,方面我們及時掌握叢集狀态。

基礎環境準備

本次實驗環境還是使用兩台虛拟機來實作,有條件的讀者建議使用三台虛拟機來做。首先我們要實作Ambari Server到各個節點之間的SSH無密碼登入。

在所有節點都執行ssh-keygen -t rsa 生成Key

[root@linux-node1 ~]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.           

雖然除了Server端之外其它節點可以不執行,但是ssh-keygen指令會幫我們建立相應的目錄并設定權限,不在需要我們手動操作。

将Ambari Server的公鑰scp到其它節點上

[root@linux-node1 ~]# scp .ssh/id_rsa.pub 192.168.56.12:/root/.ssh/authorized_keys           

設定權限

[root@linux-node2 ~]# chmod 600 ~/.ssh/authorized_keys           

測試連接配接

[root@linux-node1 ~]# ssh 192.168.56.12
Last login: Sat Apr  2 16:42:46 2016 from 192.168.56.1
[root@linux-node2 ~]#           

設定完畢無密碼登入後,我們就可以開始部署ambari-server了。

安裝jdk

由于ambari安裝過程中的jdk下載下傳比較緩慢,是以我們可以直接使用yum倉庫裡面的openjdk

[root@linux-node1 ~]# yum install -y java-1.8.0           

部署ambari-server

ambari-server的部署比較簡單,很多實用實用預設即是最好的選擇。

安裝ambari-server

[root@test-node3 ~]# cd /etc/yum.repos.d/
# wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.2.0.0/ambari.repo
# yum install -y ambari-server           
注意:在國内的使用者要有心裡準備,ambari-server這個包有354M,下載下傳比較慢。

設定ambari-server

安裝完畢後,需要使用ambari-server setup指令進行設定,均可以使用預設設定,直接回車即可。

[root@linux-node1 ~]# ambari-server setup
Using python  /usr/bin/python2
Setup ambari-server
Checking SELinux...
SELinux status is 'disabled'
Customize user account for ambari-server daemon [y/n](n)? 
Adjusting ambari-server permissions and ownership...
Checking firewall status...
Redirecting to /bin/systemctl status  iptables.service

Checking JDK...
[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[2] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7
[3] Custom JDK
===========================================================================
Enter choice (1): 3
WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.
WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts.
Path to JAVA_HOME: /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.77-0.b03.el7_2.x86_64/jre/
Validating JDK on Ambari Server...done.
Completing setup...
Configuring database...
Enter advanced database configuration [y/n](n)?
Configuring database...
Default properties detected. Using built-in database.
Configuring ambari database...
Checking PostgreSQL...
Running initdb: This may take upto a minute.
Initializing database ... OK
About to start PostgreSQL
Configuring local database...
Connecting to local database...done.
Configuring PostgreSQL...
Restarting PostgreSQL
Extracting system views...
ambari-admin-2.2.0.0.1310.jar
......
Adjusting ambari-server permissions and ownership...
Ambari Server 'setup' completed successfully.           
1) 檢測SELinux2) 詢問是否自定義使用者,預設否-(可以安裝完畢之後再進行使用者管理。)3) 檢測iptables選擇JDK版本,預設Oracle JDK 1.8。如果你已經安裝了jdk,可以選擇自定義jdk。如果你是yum安裝的openjdk,那麼路徑位于/usr/lib/jvm/java-1.8.0-openjdk-xxx.x86_64/jre/4) 目錄下。5) 詢問是否打開進階的資料庫配置,預設-否

啟動ambari-server

[root@linux-node1 ~]# ambari-server start

檢視監聽端口

[root@linux-node1 ~]# netstat -ntlp | grep 8080
tcp6       0      0 :::8080                 :::*                    LISTEN      24168/java           

通路ambari server

現在可以在浏覽器通路你的ambari server了。注意端口是8080。

http://192.168.56.11:8080/           

預設的使用者名和密碼都是admin

建立Hadoop叢集

登入 Ambari 之後,點選按鈕“Launch Install Wizard”,就可以開始建立屬于自己的大資料平台。

使用ambari快速部署Hadoop叢集
1.設定叢集的名稱
使用ambari快速部署Hadoop叢集
2.選擇一個Stack,預設使用最新版本。
使用ambari快速部署Hadoop叢集
3.填寫你環境的所有主機名,并上傳驗證的公鑰。注意使用FQDN名稱,并且主機名要能夠解析。
4.選擇需要安裝的元件
使用ambari快速部署Hadoop叢集
5.角色配置設定
使用ambari快速部署Hadoop叢集

其它步驟均使用預設配置即可。

使用ambari快速部署Hadoop叢集

繼續閱讀