Azkaban 分布式部署

目錄

• • • 💚部署前須知
    • 1. 部署規劃
    • 2. 上傳并解壓以下安裝包
    • 3. 重命名
    • 4. 向MySQL中導入腳本
    • 5. 更改MySQL包大小,防止Azkaban連接配接MySQL阻塞
    • 6. 在azkaban-exec/conf目錄下，編輯檔案azkaban.properties
    • 7. 分發 azkaban-exec 給其它所有節點
    • 8. 啟動executor server
    • 9. 激活executor
    • 10. 在azkaban-web/conf 目錄下，編輯檔案azkaban.properties
    • 11. 啟動 Web Server
    • 12. 浏覽器中通路 https://hadoop201:8081/
    • 13. Azkaban 一個簡單測試案例

💚部署前須知

1、

選擇 Mysql 作為 Azkaban 資料庫，

因為 Azkaban 建立了一些 Mysql 連接配接增強功能，以友善 Azkaban 設定。并增強服務可靠性。

2、 linux 安裝mysql 連結

1. 部署規劃

2. 上傳并解壓以下安裝包

azkaban-db-3.84.4.tar.gz
azkaban-exec-server-3.84.4.tar.gz
azkaban-web-server-3.84.4.tar.gz
           

3. 重命名

mv azkaban-exec-server-3.84.4.tar.gz azkaban-exec
           

4. 向MySQL中導入腳本

進入 mysql，

建立 azkaban 資料庫，并将解壓的腳本導入到 azkaban 資料庫。

[[email protected] ~]#  mysql -uroot -p000000
mysql> create database azkaban;
mysql> use azkaban;
mysql> source /opt/module/azkaban/azkaban-db-3.84.4/create-all-sql-3.84.4.sql
           

注：

source 後跟.sql 檔案，用于批量處理.sql 檔案中的 sql 語句。

5. 更改MySQL包大小,防止Azkaban連接配接MySQL阻塞

[[email protected] azkaban-db-3.84.4]$ sudo vim /etc/my.cnf
           

1. 在

   [mysqld]

   下面加一行

max_allowed_packet=1024M
           

1. 重新開機MySQL

sudo systemctl restart mysqld
           

6. 在azkaban-exec/conf目錄下，編輯檔案azkaban.properties

Azkaban Executor Server處理工作流和作業的實際執行

根據自己的實際情況修改屬性

default.timezone.id=Asia/Shanghai
azkaban.webserver.url=http://hadoop201:8081
executor.port=12321
database.type=mysql
mysql.port=3306
mysql.host=hadoop201
mysql.database=azkaban
mysql.user=root
mysql.password=root
mysql.numconnections=100

# 暴漏關于任務排程失敗和成功的一些名額
executor.metric.reports=true
executor.metric.milisecinterval.default=60000
           

7. 分發 azkaban-exec 給其它所有節點

8. 啟動executor server

必須

進入到/opt/module/azkaban/azkaban-exec路徑,

分别

在三台機器上啟動executor server

[[email protected] azkaban-exec]$ bin/start-exec.sh
           

注意

：如果在/opt/module/azkaban/azkaban-exec目錄下出現executor.port 檔案，說明啟動成功

9. 激活executor

每個節點都需要激活

10. 在azkaban-web/conf 目錄下，編輯檔案azkaban.properties

[[email protected] server]$ pwd
/opt/modules/azkaban/server
           

azkaban.properties

根據自己的實際情況修改屬性

default.timezone.id=Asia/Shanghai
database.type=mysql
mysql.port=3306
mysql.host=hadoop201
mysql.database=azkaban
mysql.user=root
mysql.password=root
mysql.numconnections=100

#StaticRemainingFlowSize:正在排隊的任務數
#CpuStatus:CPU占用情況
azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus
           

azkaban-users.xml

11. 啟動 Web Server

[[email protected] azkaban-web]$ pwd
/opt/module/azkaban/azkaban-web
[[email protected] azkaban-web]$ bin/azkaban-web-start.sh
           

12. 浏覽器中通路 https://hadoop201:8081/

13. Azkaban 一個簡單測試案例

Azkaban 一個簡單測試案例連結描述