CentOS6.7下Azkaban的安裝

- Azkaban 介紹
- Azkaban 安裝部署
- - 準備工作
  - 開始安裝
  - - 上傳并解壓壓縮包
    - 執行sql腳本
    - 建立SSL配置(https)
    - 修改配置檔案
    - - azkaban web 伺服器配置檔案修改
      - azkaban 執行伺服器配置
  - 啟動
  - - 啟動web 伺服器
    - 啟動執行伺服器
  - 登入web管理平台

Azkaban 介紹

Azkaban 是由 Linkedin 公司推出的一個批量工作流任務排程器，用于在一個工作流内以一個特定的順序運作一組工作和流程。 Azkaban 使用 job 配置檔案建立任務之間的依賴關系，并提供一個易于使用的 web 使用者界面維護和跟蹤你的工作流。它有如下特點:

提供功能清晰，簡單易用的 Web UI 界面；
提供 job 配置檔案快速建立任務和任務之間的依賴關系；
提供子產品化和可插拔的插件機制，原生支援 command、Java、Hive、Pig、Hadoop；
基于 Java 開發，代碼結構清晰，易于二次開發

Azkaban 安裝部署

準備工作

安裝環境centos6.7x64 (需要配置好伺服器節點上的時區)

預先安裝好MySQL (預設已安裝好 mysql 服務)

Azkaban Web 伺服器: azkaban-web-server-2.5.0.tar.gz

Azkaban 執行伺服器: azkaban-executor-server-2.5.0.tar.gz

sql腳本: azkaban-sql-script-2.5.0.tar.gz

(下載下傳位址: https://azkaban.github.io/downloads.html)

開始安裝

上傳并解壓壓縮包

azkaban-web-server-2.5.0.tar.gz

azkaban-executor-server-2.5.0.tar.gz

azkaban-sql-script-2.5.0.tar.gz

tar zxvf azkaban-*

在/usr/local下建立目錄azkaban

mkdir -p /usr/local/azkaban

移動之前解壓好的檔案到/usr/local/azkaban(這裡為了友善進行了重名命)

mv azkaban-web-server-2.5.0 /usr/local/azkaban/webserver

mv azkaban-executor-server-2.5.0 /usr/local/azkaban/executorserver

mv azkaban-sql-script-2.5.0 /usr/local/azkaban/sqlscript

執行sql腳本

進入mysql服務

mysql -u使用者名 -p密碼

進入到mysql後建立資料庫azkaban并執行sql

create database azkaban;

use azkaban;

source /usr/local/azkaban/sqlscript/create-all-sql-2.5.0.sql;

建立SSL配置(https)

使用指令:

keytool -keystore keystore -alias jetty -genkey -keyalg RSA

運作此指令後,會提示輸入目前生成 keystor 的密碼及其他資訊 (注意:密碼一定要記住!)

輸入 keystore 密碼：
	再次輸入新密碼:
	您的名字與姓氏是什麼？
	[Unknown]：
	您的組織名稱是什麼？
	[Unknown]：
	您所在的城市或區域名稱是什麼？
	[Unknown]：
	您所在的州或省份名稱是什麼？
	[Unknown]：
	該機關的兩字母國家代碼是什麼
	[Unknown]： CN
	CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN 正确嗎？
	[否]： y
	輸入<jetty>的主密碼
	（如果和 keystore 密碼相同，按回車）：
	再次輸入新密碼:

完成上述操作後會在目前目錄下生成keystore證書檔案, 需要将它拷貝到 azkaban web 伺服器根目錄下

cp keystore /usr/local/azkaban/webserver

修改配置檔案

azkaban web 伺服器配置檔案修改

/usr/local/azkaban/webserver目錄下的 azkaban.properties 檔案

vi /usr/local/azkaban/webserver/conf/azkaban.properties

修改時區:

default.timezone.id=Asia/Shanghai

修改資料庫相關:

database.type=mysql #資料庫類型
mysql.port=3306 #端口号
mysql.host=localhost #資料庫連接配接 IP
mysql.database=azkaban #資料庫執行個體名
mysql.user=root #資料庫使用者名
mysql.password=1234 #資料庫密碼
mysql.numconnections=100 #最大連接配接數

修改Jetty 伺服器屬性(密碼為之前SSL配置時設定的密碼)

jetty.port=8081 #Jetty 端口
jetty.keystore=keystore #SSL 檔案名
jetty.password=密碼 #SSL 檔案密碼
jetty.keypassword=密碼 #Jetty 主密碼 與 keystore 檔案相同
jetty.truststore=keystore #SSL 檔案名
jetty.trustpassword=密碼 # SSL 檔案密碼

修改使用者配置
vi /usr/local/azkaban/webserver/conf/azkaban-users.xml
在标簽内增加管理者使用者: <user username="admin" password="admin" roles="admin,metrics" />

azkaban 執行伺服器配置

修改執行伺服器安裝目錄 /usr/local/azkaban/executorserver/conf下的azkaban.properties檔案

vi /usr/local/azkaban/webserver/conf/azkaban-users.xml

修改時區:

default.timezone.id=Asia/Shanghai

修改資料庫配置:

mysql.database=azkaban #資料庫執行個體名
mysql.user=使用者名 #資料庫使用者名
mysql.password=密碼 #資料庫密碼

啟動

啟動web 伺服器

在 azkaban web 伺服器目錄webserver下執行啟動指令

bin/azkaban-web-start.sh

注意:在 web 伺服器根目錄運作,因為這個目錄下有相關需要的conf檔案

啟動執行伺服器

在執行伺服器executorserver目錄下執行啟動指令

bin/azkaban-executor-start.sh

注:隻能要執行伺服器根目錄運作

登入web管理平台

使用浏覽器輸入:

https://伺服器IP:8443

進入後會有一個https 的安全認證, 點選進階 --> 允許

使用者名和密碼使用剛才配置的使用者名和密碼(admin,admin)

CentOS6.7下Azkaban的安裝