天天看點

Achelous之守護神Poros系統新版釋出,計算叢集盡在掌握

作者:極道科技北京

近日,極道科技釋出了多融合統一計算平台Achelous 4.0 系統,其叢集管理元件Poros包含了兩大重量級功能——“使用者畫像”和“任務畫像”,極大提升了Poros對計算叢集的管理能力。

“使用者畫像”和“任務畫像”将通過按周期采集計算系統内的各種資源資訊,如CPU、GPU、記憶體和任務資訊等,從任務、資源,整體、個體等多個次元解析系統使用情況和性能狀況,幫助使用者更好的配置設定和管理計算資源,達到細粒度多元度的全方位管控。

全新的Achelous 4.0 在Poros系統中加入了“任務畫像”和“使用者畫像”兩大功能,下面我們一起來探索這兩大功能的亮點。

使用者畫像

使用者畫像子產品主要以個人的角度對資訊進行統計并展示。包含任務資訊統計和資源資訊統計。

  • 任務統計包含:

    任務總數;正在的運作任務數;完成的任務數;失敗的任務數;取消的任務數;

  • 資源統計包含:

    請求配置設定的CPU總數;實際使用的CPU總數;CPU使用率;請求配置設定的記憶體總量;實際使用的記憶體總量;記憶體使用率等。

使用者畫像子產品在計算任務運作過程中多次持續采樣,靈活聚合小時間段統計結果,可根據使用者自定義的時間段生成各個區間和智能報表。讓使用者對自己運作的任務和占用的資源有直覺的了解。

除此之外,使用者畫像通過統計申請資源與實際使用資源的對比,給管理者提供了使用者次元的宏觀視圖,讓公共資源的使用更加明确化,清晰化,正規化。

Achelous之守護神Poros系統新版釋出,計算叢集盡在掌握
Achelous之守護神Poros系統新版釋出,計算叢集盡在掌握

任務畫像

任務畫像子產品是對任務級别性能的監控。包含任務性能分析/展示以及任務資源縮放。

  • 任務性能分析/展示包含:

    性能分析資料(性能狀态、生命周期内性能彙總、詳細資訊);性能狀态(健康狀态、CPU受限、記憶體受限、IO受限、Free記憶體受限);生命周期内性能彙總(CPU平均延遲、使用者CPU平均延遲、系統CPU平均延遲IO平均延遲等);圖形界面的實時展示。

  • 任務資源縮放:

    通過該功能,使用者可在任務運作中手動調整其資源配置設定。通過任務畫像統計報表,管理者可及時發現超額配置設定的資源,并通過資源縮放功能,及時将資源進行合理調整,整個過程不影響任務或容器服務的正常運作。資源縮放功能帶給使用者發現資源不足或超額配置設定後,随時糾正調整的機會,讓叢集資源始終有能力維持最優使用率。

Achelous之守護神Poros系統新版釋出,計算叢集盡在掌握

Achelous多融合統一計算平台

Achelous作為極道自主研發的叢集管理系統,可實作在同一個實體叢集内同時排程人工智能,大資料,并行計算和傳統批量計算。以跨類型計算的智能資料流系統将各種異構計算彙聚,共享硬體資源,按需動态地建構計算架構,排程各種類型的資料計算、處理和分析任務,使使用者不再需要同時維護多套叢集,輕松建構跨同構、異構的資料分析流程。

Achelous之守護神Poros系統新版釋出,計算叢集盡在掌握

Achelous系統架構圖

極道科技緻力于打造“存管算”一體化協同設計的智能資料系統,通過高度的産品化,解決使用者在海量資料時代,對于資料的存取、管理,計算的關鍵問題。Achelous作為多融合統一計算平台,具有豐富的企業級功能如:

  • 資源管理:管理和實時監控叢集中計算、存儲以及GPU資源,任意時刻動态細粒度資源配置設定;
  • 排程能力:支援一次性程序、一次性容器、容器服務、MPI任務、MapReduce任務的排程;
  • 多租戶:通過劃分排程域實作多租戶資源隔離,并配有排程域配額、預留等。
  • 資料流執行引擎:解析流程中各階段的資料依賴、工具依賴、算法依賴,動态生成執行圖,保障複雜計算分析流程的最大化并行。資料流執行引擎持BSL和WDL兩種工作流描述語言。
  • 資料溯源:捕捉資料的特征,資料的派生關系,特征的派生關系,讓資料分析有據可依,有迹可循。計算過程中産生的新特征可再次用于組織新的資料集,反哺計算。
  • 智能采樣優化:實作多IO模式下的存算協同,比對最優的存儲系統類型,整體提升系統性能。

小結

Achelous作為極道資料系統的重要組成,在計算叢集中發揮着極大作用,目前已廣泛應用于科研,教育,人工智能,生命科學等領域。

本次Achelous 4.0帶來兩大全新功能,極大提升了其監控能力和管理能力,讓計算叢集資源真正做到了實時動态配置設定和實時最優配比,更好的服務于使用者真實生産和科研場景。

更多産品資訊歡迎關注公衆号:極道科技

繼續閱讀