AZKABAN-任務排程安裝手冊
目 錄
第1章 概述................................................................................................................... 2
1.1 目的................................................................................................................... 2
1.2 文檔曆史............................................................................................................ 2
1.3 術語................................................................................................................... 2
第2章 安裝................................................................................................................... 2
2.1 準備工作............................................................................................................ 2
2.2 安裝................................................................................................................... 2
2.3 配置................................................................................................................... 3
2.3.1 建立SSL配置.............................................................................................. 3
2.3.2 啟動azkaban服務....................................................................................... 3
第3章 參考資料............................................................................................................ 6
第1章 概述
1.1 目的
Azkaban是由Linkedin公司推出的一個批量工作流任務排程器,用于在一個工作流内以一個特定的順序運作一組工作和流程。Azkaban使用job配置檔案建立任務之間的依賴關系,并提供一個易于使用的web使用者界面維護和跟蹤你的工作流
第2章 安裝
2.1 準備工作
Ø Linux伺服器
本文使用CentOS 6.5進行安裝。
Ø root賬戶
使用root賬戶安裝。
2.2 安裝
1. 建立azkaban目錄,用于安置azkaban程式
指令:mkdir /opt/apps/azkaban 注:此目錄僅供參考
2. 進入建立目錄
a) 指令:cd /opt/apps/azkaban
b) 上傳:上傳azkaban壓縮包到該目錄下
a) azkaban-web-server-2.5.0.tar.gz
b) azkaban-executor-server-2.5.0.tar.gz
c) azkaban-sql-script-2.5.0.tar.gz
c) 解壓: 解壓azkaban web伺服器
a) tar -zxvf azkaban-web-server-2.5.0.tar.gz
b) 重命名上面解壓的檔案夾
c) mv azkaban-web-2.5.0 webserver
d) 解壓: 解壓azkaban 執行伺服器
a) tar -zxvfazkaban-executor-server-2.5.0.tar.gz
b) 重命名上面解壓的檔案夾
c) mv azkaban-executor-2.5.0 executor
e) 解壓: 解壓azkaban-sql-script-2.5.0.tar.gz
a) tar -zxvf azkaban-sql-script-2.5.0.tar.gz
b) 進入mysql mysql-u**** -p****
c) 将腳本create-all-sql-2.5.0.sql 導入到mysql中
d) mysql> create database azkaban;
e) mysql> use azkaban
f) mysql> source /opt/apps/azkaban/create-all-sql-2.5.0.sql
2.3 配置
2.3.1 建立SSL配置
指令:keytool -keystore keystore -alias jetty -genkey -keyalgRSA
輸入keystore密碼:
再次輸入新密碼:
您的名字與姓氏是什麼?
[Unknown]: (随意寫)
您的組織機關名稱是什麼?
[Unknown]: (随意寫)
您的組織名稱是什麼?
[Unknown]: (随意寫)
您所在的城市或區域名稱是什麼?
[Unknown]: (随意寫)
您所在的州或省份名稱是什麼?
[Unknown]: (随意寫)
該機關的兩字母國家代碼是什麼
[Unknown]: CN (必須是CN)
CN=Unknown,OU=Unknown,O=Unknown,L=Unknown,ST=Unknown, C=CN 正确嗎?
[否]: y
輸入<jetty>的主密碼
(如果和 keystore 密碼相同,按回車):
再次輸入新密碼:
完成上述工作後,将在目前目錄生成 keystore 證書檔案,将keystore 考貝到 azkaban web伺服器根目錄中.如:cp keystore /opt/apps/azkaban/webserver
2.3.1.1 修改時區
可先date檢視
如果不是 用互動式指令 tzselect 即可
先生成,時區配置檔案Asia/Shanghai
Sudo cp/usr/share/zoneinfo/Asia/Shanghai /etc/localtime
2.3.1.2 Azkaban web配置
進入azkabanweb伺服器安裝目錄conf目錄 修改azkaban.properties檔案
指令vi azkaban.properties 紅色為修改
内容說明如下:
#Azkaban Personalization Settings
default.timezone.id=Asia/Shanghai #預設時區,已改為亞洲/上海 預設為美國
database.type=mysql #資料庫類型
mysql.port=3306 #端口号
mysql.host=localhost #資料庫連接配接IP
mysql.database=azkaban #資料庫執行個體名
mysql.user=root #資料庫使用者名
mysql.password=root #資料庫密碼
mysql.numconnections=100 #最大連接配接數
# Velocity dev mode
velocity.dev.mode=false
# Jetty伺服器屬性.
jetty.maxThreads=25 #最大線程數
jetty.ssl.port=8443 #Jetty SSL端口
jetty.port=8081 #Jetty端口
jetty.keystore=keystore #SSL檔案名
jetty.password=123456 #SSL檔案密碼
jetty.keypassword=123456 #Jetty主密碼 與keystore檔案相同
jetty.truststore=keystore #SSL檔案名
jetty.trustpassword=123456 # SSL檔案密碼
# 執行伺服器屬性
executor.port=12321 #執行伺服器端口
#郵箱設定 以163郵箱為例
[email protected] #發送郵箱
mail.host=smtp.163.com #發送郵箱smtp位址
mail.user=xxxxxxxx #發送郵件時顯示的名稱
mail.password=********** #郵箱密碼
[email protected] #任務失敗時發送郵件的位址
[email protected] #任務成功時發送郵件的位址
lockdown.create.projects=false #
cache.directory=cache #緩存目錄
2.3.1.3 Azkaban使用者配置
進入azkaban web伺服器conf目錄,修改azkaban-users.xml
vi azkaban-users.xml 增加 管理者使用者
<azkaban-users>
<user username="azkaban" password="azkaban"roles="admin" groups="azkaban" />
<user username="metrics" password="metricsroles="metrics"/>
<user username="admin"password="admin" roles="admin,metrics" /> #增加的使用者
<role name="admin" permissions="ADMIN" />
<role name="metrics" permissions="METRICS"/>
</azkaban-users>
2.3.1.4 Azkaban executor配置
進入執行伺服器安裝目錄conf,修改azkaban.properties
vi azkaban.properties
#Azkaban
default.timezone.id=Asia/Shanghai #時區
# Azkaban JobTypes 插件配置
azkaban.jobtype.plugin.dir=plugins/jobtypes #jobtype插件所在位置
#Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects #資料庫設定
database.type=mysql #資料庫類型(目前隻支援mysql)
mysql.port=3306 #資料庫端口号
mysql.host=192.168.20.200 #資料庫IP位址
mysql.database=azkaban #資料庫執行個體名
mysql.user=azkaban #資料庫使用者名 mysql.password=oracle #資料庫密碼 mysql.numconnections=100 #最大連接配接數
# 執行伺服器配置
executor.maxThreads=50 #最大線程數 executor.port=12321 #端口号(如修改,請與web服務中一緻) executor.flow.threads=30 #線程數
2.3.2啟動azkaban服務
web伺服器
在web伺服器目錄下執行啟動指令到背景
nohupbin/azkaban-web-start.sh 1>/dev/null 2>/dev/null &
執行伺服器
在執行伺服器目錄下執行啟動指令
nohupbin/azkaban-executor-start.sh 1>/dev/null 2>/dev/null &
啟動完成後,在浏覽器(建議使用谷歌浏覽器)中輸入https://ip或主機名:8443 ,即可通路azkaban服務了.在登入中輸入剛才新的戶用名及密碼,點選 login.
第3章 參考資料
參考文獻說明一般包括:編号、名稱、作者、版本号、出版/釋出時間。
- 完畢 -