天天看點

AZKABAN-任務排程安裝手冊第1章 概述第2章 安裝第3章 參考資料

AZKABAN-任務排程安裝手冊

目   錄

第1章     概述................................................................................................................... 2

1.1        目的................................................................................................................... 2

1.2        文檔曆史............................................................................................................ 2

1.3        術語................................................................................................................... 2

第2章     安裝................................................................................................................... 2

2.1        準備工作............................................................................................................ 2

2.2        安裝................................................................................................................... 2

2.3        配置................................................................................................................... 3

2.3.1         建立SSL配置.............................................................................................. 3

2.3.2         啟動azkaban服務....................................................................................... 3

第3章     參考資料............................................................................................................ 6

第1章 概述

1.1  目的

Azkaban是由Linkedin公司推出的一個批量工作流任務排程器,用于在一個工作流内以一個特定的順序運作一組工作和流程。Azkaban使用job配置檔案建立任務之間的依賴關系,并提供一個易于使用的web使用者界面維護和跟蹤你的工作流

第2章 安裝

2.1  準備工作

Ø  Linux伺服器

本文使用CentOS 6.5進行安裝。

Ø  root賬戶

使用root賬戶安裝。

2.2  安裝

1.        建立azkaban目錄,用于安置azkaban程式

指令:mkdir /opt/apps/azkaban  注:此目錄僅供參考

2.        進入建立目錄

a)        指令:cd  /opt/apps/azkaban

b)       上傳:上傳azkaban壓縮包到該目錄下

a)        azkaban-web-server-2.5.0.tar.gz

b)       azkaban-executor-server-2.5.0.tar.gz

c)        azkaban-sql-script-2.5.0.tar.gz

c)        解壓:  解壓azkaban web伺服器

a)      tar -zxvf azkaban-web-server-2.5.0.tar.gz

b)     重命名上面解壓的檔案夾

c)        mv azkaban-web-2.5.0  webserver

d)       解壓:  解壓azkaban 執行伺服器

a)        tar -zxvfazkaban-executor-server-2.5.0.tar.gz

b)     重命名上面解壓的檔案夾

c)        mv azkaban-executor-2.5.0  executor

e)        解壓: 解壓azkaban-sql-script-2.5.0.tar.gz

a)        tar -zxvf azkaban-sql-script-2.5.0.tar.gz

b)        進入mysql   mysql-u**** -p****

c)        将腳本create-all-sql-2.5.0.sql 導入到mysql中

d)        mysql> create database azkaban;

e)        mysql> use azkaban

f)         mysql> source /opt/apps/azkaban/create-all-sql-2.5.0.sql

2.3  配置

2.3.1 建立SSL配置

指令:keytool -keystore keystore -alias jetty -genkey -keyalgRSA

輸入keystore密碼:

再次輸入新密碼:

您的名字與姓氏是什麼?

[Unknown]: (随意寫)

您的組織機關名稱是什麼?

[Unknown]: (随意寫)

您的組織名稱是什麼?

[Unknown]: (随意寫)

您所在的城市或區域名稱是什麼?

[Unknown]: (随意寫)

您所在的州或省份名稱是什麼?

[Unknown]: (随意寫)

該機關的兩字母國家代碼是什麼

[Unknown]: CN (必須是CN)

CN=Unknown,OU=Unknown,O=Unknown,L=Unknown,ST=Unknown, C=CN 正确嗎?

[否]: y

輸入<jetty>的主密碼

(如果和 keystore 密碼相同,按回車):

再次輸入新密碼:

完成上述工作後,将在目前目錄生成 keystore 證書檔案,将keystore 考貝到 azkaban web伺服器根目錄中.如:cp keystore /opt/apps/azkaban/webserver

2.3.1.1 修改時區

可先date檢視

如果不是 用互動式指令 tzselect 即可

先生成,時區配置檔案Asia/Shanghai

Sudo cp/usr/share/zoneinfo/Asia/Shanghai  /etc/localtime

2.3.1.2 Azkaban web配置

進入azkabanweb伺服器安裝目錄conf目錄  修改azkaban.properties檔案

指令vi  azkaban.properties       紅色為修改

内容說明如下:

#Azkaban Personalization Settings

default.timezone.id=Asia/Shanghai  #預設時區,已改為亞洲/上海 預設為美國

database.type=mysql  #資料庫類型

mysql.port=3306  #端口号

mysql.host=localhost  #資料庫連接配接IP

mysql.database=azkaban  #資料庫執行個體名

mysql.user=root  #資料庫使用者名

mysql.password=root  #資料庫密碼

mysql.numconnections=100  #最大連接配接數

# Velocity dev mode

velocity.dev.mode=false

# Jetty伺服器屬性.

jetty.maxThreads=25  #最大線程數

jetty.ssl.port=8443  #Jetty SSL端口

jetty.port=8081  #Jetty端口

jetty.keystore=keystore  #SSL檔案名

jetty.password=123456  #SSL檔案密碼

jetty.keypassword=123456  #Jetty主密碼 與keystore檔案相同

jetty.truststore=keystore  #SSL檔案名

jetty.trustpassword=123456  # SSL檔案密碼

# 執行伺服器屬性

executor.port=12321  #執行伺服器端口

#郵箱設定 以163郵箱為例

[email protected]                          #發送郵箱 

mail.host=smtp.163.com                                #發送郵箱smtp位址 

mail.user=xxxxxxxx                                    #發送郵件時顯示的名稱 

mail.password=**********                              #郵箱密碼 

[email protected]                    #任務失敗時發送郵件的位址 

[email protected]                    #任務成功時發送郵件的位址 

lockdown.create.projects=false                        # 

cache.directory=cache                                 #緩存目錄 

2.3.1.3 Azkaban使用者配置

進入azkaban web伺服器conf目錄,修改azkaban-users.xml

vi azkaban-users.xml 增加 管理者使用者

<azkaban-users>

<user username="azkaban" password="azkaban"roles="admin" groups="azkaban" />

<user username="metrics" password="metricsroles="metrics"/>

<user username="admin"password="admin" roles="admin,metrics" />   #增加的使用者

<role name="admin" permissions="ADMIN" />

<role name="metrics" permissions="METRICS"/>

</azkaban-users>

2.3.1.4 Azkaban executor配置

進入執行伺服器安裝目錄conf,修改azkaban.properties

vi azkaban.properties

#Azkaban

default.timezone.id=Asia/Shanghai   #時區           

# Azkaban JobTypes 插件配置

azkaban.jobtype.plugin.dir=plugins/jobtypes #jobtype插件所在位置

#Loader for projects

executor.global.properties=conf/global.properties

azkaban.project.dir=projects   #資料庫設定

database.type=mysql         #資料庫類型(目前隻支援mysql)

   mysql.port=3306         #資料庫端口号                                                  

mysql.host=192.168.20.200        #資料庫IP位址

mysql.database=azkaban       #資料庫執行個體名

                                                                                mysql.user=azkaban    #資料庫使用者名                                                     mysql.password=oracle #資料庫密碼                                  mysql.numconnections=100    #最大連接配接數

# 執行伺服器配置

executor.maxThreads=50      #最大線程數                                         executor.port=12321    #端口号(如修改,請與web服務中一緻)                                                        executor.flow.threads=30     #線程數

2.3.2啟動azkaban服務

web伺服器

在web伺服器目錄下執行啟動指令到背景

nohupbin/azkaban-web-start.sh 1>/dev/null 2>/dev/null &

執行伺服器

在執行伺服器目錄下執行啟動指令

nohupbin/azkaban-executor-start.sh 1>/dev/null 2>/dev/null &

啟動完成後,在浏覽器(建議使用谷歌浏覽器)中輸入https://ip或主機名:8443 ,即可通路azkaban服務了.在登入中輸入剛才新的戶用名及密碼,點選 login.

第3章 參考資料

參考文獻說明一般包括:編号、名稱、作者、版本号、出版/釋出時間。

- 完畢 -

繼續閱讀