天天看點

【國産】自動化運維作業排程平台- TASKCTL

批量排程專家 TASKCTL

TASKCTL 是專門為批量作業排程自動化打造的一款專業的靈活排程工具,批量排程自動化技術是大資料時代資料整合背景不可缺少的重要技術。現在資料是整個社會和各企業團體的重要資産,管好資料、用好資料是整個社會的重要命題。

想要用好資料,實作企業數字化快速轉型,首先就應該管好資料。而批量排程自動化技術,正是管好資料的重要保證。在衆多大大小小的資料倉庫、資料集市以及各類資料池中,是批量排程自動化技術讓大量資料的進出、存放、清洗、過濾、粗加工、細加工等各種各樣的工作有序、高效的展開。

是以,将該技術獨立化、系統化、專業化、工具化、産品化,必将給整個 ETL 技術領域、資料整合領域帶來很大的幫助,讓整個資料整合技術世界變得更美好。

産品應用範圍

TASKCTL 批量靈活排程及其解決方案可廣泛應用于銀行行業、證券行業、保險行業、能源行業、汽車制造業、電信裝置制造業、通信行業、大型連鎖超市、百貨集團、物流運輸業、快速消費品業、通信營運商、政府行業、網際網路行業、醫療行業等其他行業等。

可以毫不誇張的說,TASKCTL 适用于任何有資料領域的行業。目前該産品技術已在政府、銀行、保險、證券、網際網路、政府、 營運商、能源行業得到了很好的應用。

企業為什麼需要專業的排程管理平台

1.排程原始落後

時至今日仍然有一些系統使用人工排程或作業系統的 crontab 方式排程。在如今追求自動化甚至智能化的時代已顯得非常原始和落後,耗費人力、 容易出錯、難以監控已成為這類系統的緻命性問題。

2.使用開源軟體

排程系統使用開源軟體,學習成本較高并且沒有服務保障,bug 修複不及時,生命周期不确定。

3.排程自主研發

排程系統伴随項目自主研發,投入産出比小并且影響項目周期,軟體品質也難以保證,需求擴充性差。

4.系統間協調互動困難

各系統獨立建設,沒有統一的标準和規範,無法簡單有效地實作系統間的互動。運維效率較低,當一個系統出現問題,可能需要運維人員逐個解決 聯系上遊系統确認問題根源。運維效率低下。

5.作業規模變大

随着 ODS、BIG DATA 的建設,批量處理作業規模越來越大,相對應的排程 場景更加多樣系統排程邏輯也會更加複雜,系統開發人員很大一部分精 力花費在了排程邏輯的控制上,而非業務處理本身。另外,随着作業規模 的增長,對排程性能和穩定性、擴充性提出了更高要求,一些現有系統 已經逐漸不能滿足要求。

6.系統越來越多帶來管理和運維困難

系統越來越多,不同系統,技術要求不同,批處理作業管理越來越複雜, IT 技術異構風險變大。一個技術人員很難同時熟悉多個系統,導緻需要 大量的技術人員分别管理和運維。夜間值班人員同時開着十幾個甚至更多 多個監控螢幕也成為常态和痛點。這些問題也很顯然地造成了運維投入的 不斷增加。

TASKCTL 的核心優勢

TASKCTL 定位于(個人學習/企業項目)統一排程監控管理平台。緻力于為(個人學習/企業項目)的批量處理作業制定統一的開發規範、運維方法,對各系統的批量作業進行統一管理、排程和監控。可用于幫助使用者輕松建構自動化、規範化批量排程管理平台,也可用于支撐大資料時代下資料流向的排程管理自動化等,形成專門的解決方案。

同時 TASKCTL 還提供中繼資料管理、資料關系分析、版本控制、日志分析等完善的輔助管理功能,為企業提供資料遷移、資料倉庫、資料标準化、資料同步、資料備份、資料交換以及企業定制化二次開發在内的一體化整合服務。

強大的排程監控管理能力

功能包括串行、互斥、并行、斷點續跑、執行計劃、容錯政策、循環、 自定義控制政策、關系政策、遠端排程、負載均衡等功能。

【串行排程】串行排程即依賴排程,依賴排程是排程軟體最基本的功能,它決定 了作業之間的執行順序關系。如果 A 作業依賴 B 作業,那麼 A 作業必須讓 B 作 隻有執行成功後,才可以執行 A。

【并行排程】并行排程也是排程最基本的功能,它表示多個并行作業之間可以同時執行。

【互斥排程】互斥排程是指兩個作業之間不可以同時執行,A 與 B 互斥,A 執行 時 B 不能執行,B 執行時 A 不能執行。

【斷點續跑】斷點續跑指流程因某個作業運作失敗被迫中斷,經過人工處理後, 流程會自動從中斷的作業開始繼續往下執行。

【執行計劃排程】執行計劃是指按預定計劃時間執行,在 ETL 進行中是尤為重要 的。比如作業按日執行、按周執行、按月執行等都屬于執行計劃。執行計劃在 ETL 中,有兩種方式,一種是按邏輯業務日期制定計劃;一種是按自然日期制定計劃。TASKCTL 在一個流程中可以同時支援該兩種計劃。

【國産】自動化運維作業排程平台- TASKCTL

【條件分支排程】條件分支類似于程式設計時,根據某個判斷,決定執行哪個流程 程分支。

【容錯政策排程】錯誤作業自動處理是排程平台的一種容錯機制。它決定排程後 續方向;TASKCTL 對于錯誤的作業有兩種處理機制,一是自動在一定時間間隔 後重跑,并且還可自定義重跑次數;二是可以根據使用者定義,選擇在作業出錯後 忽略錯誤,流程繼續往下執行。

【國産】自動化運維作業排程平台- TASKCTL

【循環排程】循環排程是指在一個批次處理時,可以根據使用者定義循環次數實作 對某個作業多次循環執行。

【國産】自動化運維作業排程平台- TASKCTL

【遠端排程】遠端排程是排程核心通過部署在遠端代理對遠端作業進行控制排程。它可以對部署在不同主機的作業通過統一流程進行統一管理并排程。

【負載均衡】負載均衡是指作業通過代理叢集部署,排程可以分派作業到叢集内 相對空閑的主機,進而達到排程對流程負載均衡處理的功能。通過排程的負載均衡部署,可以将多個并行作業分派到不同主機,避免在一台主機上同時并行執行 多個作業,進而造成主機負載過重。

【作業類型擴充】在實際應用中,往往隻是以上常用的插件,有可能不能滿足實 際的排程平台建設,為了使産品應用更加完美,TASKCTL 支援了自定義插件功 能,如果需要某個插件,我們隻需要一次定義,便可多次重複利用,進而節省 IT 人員開發工作量。

【C 語言 API 擴充】TASKCTL 産品核心排程層是用 C 語言開發,我們提供了很多 API 接口,能夠提供 IT 開發人員在此基礎上做軟體二次開發等用途。

【圖形設計】智能設計作業流程圖,隻需滑鼠拖動就能設計出流程圖的串行、并行等排程功能。

【國産】自動化運維作業排程平台- TASKCTL

【代碼設計】通過代碼設計方式實作作業、流程圖的設計,融合了程式員的開發習慣。

【國産】自動化運維作業排程平台- TASKCTL

【文法檢查】代碼設計時,Designer 設計器會自動檢查代碼的文法是否正确,如 果異常會在文法檢查視窗提示。

【圖形監控】可視化檢視流程作業的運作狀态。

【國産】自動化運維作業排程平台- TASKCTL

【統計監控】分析系統内作業的運作資料,分類統計;比如耗時排名前 10 位的作 業等。

【運維管理】運維管理主要是指流程暫停、停止、斷點設定等;操作實作作業的 重跑、強制成功、忽略通過等。