TASKCTL 是什麼
批量排程自動化技術是大資料時代資料整合背景不可缺少的重要技術。TASKCTL 是一款企業級免費作業批量排程系統，支援各類腳本、程式的排程。具備可視化圖形拖拽式設計界面，可視化作業管控、計劃排程、實時監控、消息提醒和日志分析功能；有效彌補了傳統 ETL 工具在排程管理和監控分析方面不足；同時平台還提供中繼資料管理、資料關系分析、版本控制、日志分析等完善的輔助管理功能，為企業提供資料遷移、資料倉庫、資料标準化、資料同步、資料備份、資料交換以及企業定制化二次開發在内的一體化整合服務。
是的，批量排程自動化技術對資料整合、對各種各樣的 ETL，就像上司對公司的意義。同時，批量排程自動化技術又向優秀的職業經理人，沒有行業的限制，它是一種與業務無關的純技術體系。是以，将該技術獨立化、系統化、專業化、工具化、産品化，必将給整個 ETL 技術領域、資料整合領域帶來很大的幫助，讓整個資料整合技術世界變得更美好。
應用場景
TASKCTL 通過将企業内部複雜的作業排程依賴關系，進行靈活的統一編排和管理，帶來前所未有的簡便性。通過采用全記憶體計算，基于全事件技術驅動，可簡單、快速地對作業進行定義、編排和執行，并生成優化排程執行建議，高效地執行作業排程。TASKCTL 主要實作對 ETL 作業、存儲過程、SQL 語句、shell 腳本、DS 作業等多類型作業的自動化編排和排程，既可用于幫助使用者輕松建構自動化、規範化批量排程管理平台，也可用于支撐大資料時代下資料流向的排程管理自動化等，形成專門的解決方案。
提示：去公衆号【TASKCTL】回複 “軟體” 可直接免費擷取官方永久使用授權
産品結構
TASKCTL 自動化技術标準産品采用典型的 C/S 模式，應用層為用戶端，控制層為服務端。同時，服務端完成對目标層的排程控制。
- 應用層
應用層從功能的角度，主要分 admin、designer 和 monitor。從應用管道的角度，又分桌面用戶端管道與背景字元界面用戶端管道。同時，為了進一步友善使用者，系統服務端還提供了豐富的控制操作行指令。
- 控制層
控制層是多級金字塔架構，頂層為服務控制節點，完成各種排程服務控制以及為用戶端提供各種操作應用服務。而代理層完成與目标伺服器（ETL 等）的控制互動。另，代理層通過主從代理級聯方式，可實作對叢集部署的伺服器進行排程控制，實作負載均衡等。
- 目标層
目标層，是整個産品所控制的目标，比如我們的 ETL 伺服器，作業工作站等。
功能特性
- 簡單：支援通過 Web 頁面作業行 CRUD 操作，操作簡單，幾分鐘上手；
- 簡潔：重新優化界面排版布局、圖形拖拽動作，簡化操作步驟；
- 郵件預警：作業失敗時支援郵件報警，支援配置多郵件位址群發報警郵件；
- 作業進度監控：支援實時監控作業進度；
- 作業逾時控制：支援自定義作業逾時時間，作業運作逾時将會主動中斷作業；
- 作業失敗重試：支援自定義作業失敗重試次數，當作業失敗時将會按照預設的失敗重試次數主動進行重試；
- 作業失敗告警：提供作業運作實時郵件，短信，日志預警；
- 腳本作業支援：采用插件驅動機制運作腳本作業；（系統預置：shell、python、Datastage、Informatic、Kettle、Java、大資料、一體機等各種腳本），還可以擴充更多類型。
- 運作報表：支援實時檢視運作資料，如：作業作業數量，排程次數，執行器數量；以及排程報表；（如：排程日期分布圖，排程成功/失敗分布圖）
- 使用者管理：支援線上管理系統使用者，分為管理者、普通使用者等多種角色；
- 權限控制：支援平台應用通道，中繼資料讀寫，作業或作業流等操作和通路權限控制；
- 作業依賴：支援配置子作業依賴排程，當父作業執行結束且執行成功後将會主動觸發一次子作業的執行；
- 核心功能：包括串行、互斥、并行、斷點續跑、執行計劃、容錯政策、循環、自定義控制政策、關系政策、遠端排程等；
- 自定義作業參數：支援運作時配置排程作業參數，即時生效；
- 觸發政策：提供豐富的作業觸發政策，包括：固定間隔觸發、固定延時觸發、API（事件）觸發、人工觸發、父子作業觸發；
- 支援 Linux、Windows、Aix 等跨平台應用；
- 支援 10 萬級作業排程批量控制；
- 提供線上編輯帶文法校驗的 IDE 工具環境；
- 軟體分鐘級安裝部署；
- 秒級全局定位作業節點定位和作業資訊搜尋；
- 作業自動化及人工靈活幹預；
- 支援負載均衡、高可用、分布式的企業級特征；
- 不依賴任何第三方中間件技術，大幅減輕産品實施和運維難度；
- 無需昂貴硬體伺服器支撐，普通虛拟機就可安裝部署；
- 獨創永不交叉流程圖和線上編輯 IDE 環境，能夠實作流圖自動排版和排序，永不交叉，不同作業類型圖示可差異化，個性化展示，使圖形達到最直覺效果；
- 提供全資料記憶體通路、基于全事件引擎驅動；
- 支援系統開發人員、運維人員、管理人員多管道角色應用場景；
核心元件邏輯架構
産品核心是在自主創新核心技術：無資料庫存儲通路、全事件元件間通信觸發（消息隊列）、動态資料全記憶體通路的基礎上建構的。 在整個邏輯架構中，每一個元件對應一個系統程序，整個核心功能就是有不同功能的程序有序協同完成。
功能體系
企業級特性
1.數十萬級作業規模排程支援
TASKCTL 從 2.0 開始，就定位為企業級排程基礎軟體，能實作 10 萬級任務排程控制，能滿足各大企業的排程規模需求。
2.支援各種技術平台的內建，能實作各種作業類型的排程
TASKCTL 是一個開放的排程平台，為了适應諸如 Datastage、Informatic、kettle、一體機、大資料、存儲過程、java 以及各種腳本任務程式的支援與擴充，同時保證不同任務類型的應用統一，TASKCTL 對作業的控制采用插件驅動機制，進而實作不同技術平台、不同作業類型排程控制。
3.多級高可用（HA）、分布式、負載均衡企業級特征
為了保證系統的高可用性、高擴充性，整個産品核心設計采用層級架構。通過"Server(排程控制中心)" + "Agent(代理)"協調工作，完成各種複雜的排程控制，同時，通過 Server 主備，Server 和 Agent 分布式叢集部署，實作高可用性與負載均衡的企業級系統特性。
4.豐富的應用管道、完整的應用體系
TASKCTL 不僅将系統應用功能按應用類型通過 Admin、Designer、Monitor 三個軟體來組織與應用，同時又按不同應用管道分 C/S 模式桌面用戶端、C/S 模式字元界面用戶端以及 B/S 模式監控應用端。它們分别構成完整的應用系統，使用者可以根據自己的操作習慣與具體應用環境，選擇合适的用戶端管道進行應用操作。
5.靈活使用者權限管理
為了實作使用者對各個作業流程資源的操作控制，TASKCTL 采用作業系統的使用者管理機制，TASKCTL 将設計流程對象化、檔案化，每個流程可以對擁有者、同組、其它使用者分别授予讀、寫、操作權限，這種機制可以讓使用者對不同項目的的不同流程靈活授予讀寫操作權限。
6.流程作業的多級組織架構
流程作業資訊是排程的核心資訊，為了有效管理與控制這些資訊，TASKCTL 通過主題應用、流程（子流程）、子產品等多級體系來組織作業資訊，使整個平台的作業資訊結構更清晰、更易管理、更易控制。
7.強大的核心排程功能
①靈活的流程驅動
一個作業流程的開始，可以通過檔案到達觸發、自定義周期定時觸發（n 分鐘、n 小時、n 天等）以及自定義事件觸發等。
②完整的排程控制政策
關系政策：可以實作作業、作業流之間的并行、互斥以及任意依賴控制。特别是依賴控制，系統通過串行、單點依賴、事件依賴以及自定義條件等機制，可以實作作業流内、不同作業流、不同 ETL 作業伺服器以及不同業務日期、不同批次間任意作業的依賴控制。
排程計劃政策：實作任意自然月曆、邏輯日期排程計劃；一個流程内可實作自然月曆與多個邏輯日期的混合排程計劃。
容錯政策：可以實作作業錯誤後自動重跑，并可指定重跑次數，還可以實作錯誤重試次數滿後，自動決定任務是否通過或失敗。
強大的自定義政策：一個任務是否運作、忽略以及等待，使用者可以通過自定義條件來确定。一方面，可以采用系統提供的内置函數用于條件判斷；還可以通過自定義腳本程式來實作條件判斷。
靈活的參數傳遞：使用者可以通過定義全局變量、流程私有變量來實作定義各種資訊的宏替換、作業參數傳遞、流程間變量資訊傳遞等。另外，TASKCTL 還可實作一個任務的傳回值當作另外一個任務的入口參數來傳遞。
8.全方位實時監控作業運作
為了使用者實時了解作業的運作狀況，TASKCTL 整體采用實時重新整理、圖形、多角度多口徑統計以及短信等方式對整個平台作業進行全方位監控，以便使用者及時掌握哪些作業正在運作、錯誤原因、失敗、警告等資訊
9.靈活的人工幹預維護