計算、理論、實驗被稱為現代科學研究的“三駕馬車”，無論是高校、研究所還是企業，高性能計算對于材料、化學、計算機、工程、生命科學、大氣等領域以及計算機輔助工程 (CAE) 、計算流體動力學（CFD）、電子設計自動化（EDA）、分子動力學（MD）等技術的科學研究都至關重要。
北德超級計算聯盟簡介
北德超級計算聯盟（HLRN）成立于2001年，是德國北部七個州的聯合項目。HLRN超級計算機已被100多所大學和120多家研究機構所使用，以此探索科學研究的許多前沿領域，幫助開啟更美好的未來。HLRN III超級計算機系統在2014年1月被研發出來，是世界上最強大的超級計算機之一，擁有約25000台高端PC的計算能力，由柏林Zuse研究所和漢諾威萊布尼茨大學對其進行托管。
HLRN面臨的挑戰
1.需要啟用并行計算來管理和優化站點：為了給德國北部各州提供強大、高效的PB級計算資源，HLRN需要将HLRN III作為一個組合系統聯合運作。然而，對兩個遠端位置進行負載平衡是有挑戰的，例如時間延遲和獨立叢集之間不斷變化的通信。是以，HLRN需要啟用并行計算來管理和優化柏林和漢諾威站點之間的多個叢集。
2.難以處理龐大的計算作業：作為由德國州和聯邦政府資助的非營利組織，HLRN的超級計算系統除了免費為德國北部的科學家和研究人員提供重要服務外，HLRN還為組織的項目提供技術支援以解決關鍵使用者問題，例如優化、批量處理作業、資源配置設定等，這導緻HLRN III的需求量很大。為了處理如此龐大的計算作業隊列，柏林和漢諾威站點必須保持24h全天候運作，這給資源正常運作時間和作業吞吐量帶來了非常大的挑戰。
3.工作負載要求多：HLRN每分每秒都運作着150多個項目，平均作業大小為10GB，這些項目對工作負載具有不同的要求，是以需要研究人員建立自定義應用程式。
4.項目準備時間長：一個項目成功完成後，必須建立新的資料集為下一個傳⼊項目做準備，HLRN的顧問幫助系統可能需要幾天甚至幾周的時間去準備算法以運作密集計算。
HLRN選擇虹科Adaptive高性能計算套件Moab
HLRN于2008年開始使用Moab來管理其計算工作負載，目前在其分布式Cray XC30的超級計算系統“HLRN III”上運作Moab HPC Suite企業版。HLRN站點利用Moab來支援其在廣泛領域的先進科學研究，包括生物資訊學、化學、氣候和海洋模組化、工程、環境研究、流體動力學和實體學等領域。其次，還利用Adaptive Big Workflow（即更高效的處理密集模拟和大資料分析）來加速資料洞察和解決HLRN的大資料挑戰，使得研究人員能夠在複雜的異構HPC叢集環境中提供有價值的見解，而Moab HPC Suite是Adaptive Big Workflow解決方案中不可或缺的一部分。
Moab HPC Suite（Moab高性能計算套件）是虹科Adaptive Computing的一個工作負載和資源編排平台，可自動排程、管理、監控和報告大規模的HPC 工作負載。獲得專利的Moab智能引擎使用多元政策和先進的未來模組化以優化各種資源上的工作負載啟動和運作時間。這些政策平衡了高使用率和吞吐量目标與互相競争的工作負載優先級和SLA要求，進而通過優先級順序在更短的時間内完成更多的工作。Moab HPC Suite 優化HPC系統的價值和可用性，同時降低了管理成本和複雜性。
高性能計算解決方案
1.選擇Moab HPC Suite：為了充分滿足其研究目标并實作并行計算，HLRN選擇了Moab HPC Suite作為其新的分布式超級計算系統。HPC套件由Adaptive Computing的智能工作負載管理軟體Moab提供⽀持，該軟體可根據政策優化跨工作負載并排程、管理資源。
2.通過BigWorkflow進行模拟和資料分析：為了将兩個叢集的計算資源結合起來，HLRN通過Big Workflow進行模拟和資料分析。Big Workflow還能夠協調和優化分析流程，以提⾼吞吐量和生産力，降低成本、複雜性和錯誤。即使面臨大資料挑戰，HLRN仍然可以保證最大限度地延長正常運作時間、保證服務傳遞且資源得到公平配置設定。
3.使用Moab子產品：在Moab HPC Suite企業版中，HLRN使用了許多Moab子產品。
網格管理-統一工作負載決策
Moab子產品中強大的網格工作負載管了解決方案使HLRN能夠連接配接柏林和漢諾威不同叢集并共享計算資源，這允許HLRN跨政策和資源同步管理、合并報告、優化跨叢集的工作負載共享和資料管理。此外，網格環境使HLRN能夠同時在兩個站點上運作計算作業，自動化和統一所有複雜的工作負載決策，進而實作更大的負載平衡。
政策引擎-加速生産力
随着條件和工作負載的變化，Moab能主動滿足HLRN的優先事項，優化HLRN叢集使用率。例如：如果一組研究人員在某個時間沒有工作要運作時，Moab将允許運作其他具有低優先級的作業（進行回填排程）。此外，政策引擎也将自動確定正确的工作負載在最佳時間的運作（例如，回填作業獲得低優先級或在預期運作新的⾼優先級作業時暫停）。
計費管理-預算保證
HLRN将MAM（Moab Accounting Manager）與其會計軟體內建，進而根據資源共享協定安排資源。此功能用于管理不同研究組的賬戶，確定每個研究組都能基于預算、時間和MAM中可用的其他參數來“公平、共享”使用叢集的。此外，MAM可以使HLRN的預算配置設定與使用率保持一緻，確定不超過使用限制和執行預算。
價值成果
HLRN在使用Moab HPC Suite後獲得了如下成果：
1.實作并行計算：通過協調的動态配置和多叢集網格環境，Moab HPC Suite使HLRN能夠利用其分布式超級計算系統實作并行計算。
2.統一任務管理：通過Big Workflow将兩個叢集作為一個生态系統運作，HLRN能夠統一管理從工作流排程到賬戶管理的所有任務。
3.滿足工作負載需求：通過Moab的排程能力，HLRN不僅可以更好地處理激增的工作負載需求，在多個異構系統之間實作更⾼的管理效率，還能夠滿足大量的需求并提高作業吞吐量。
4.最大化多叢集ROI：Moab使HLRN實作高達80%的資源使用率、最大限度地提高使用者生産力并滿足大量工作負載需求并基本消除工作延誤和故障。
Moab的這些優勢加快了HLRN研究人員的分析速度，幫助科學研究快速”打開新世界的大門“！
虹科是Adaptive Computing中國區的戰略合作夥伴，想要了解【虹科Adaptive computing Moab高性能計算套件】及【行業解決方案】，歡迎前往虹科雲科技官網！
推薦閱讀：
虹科案例 | 超級計算中心如何使用高性能計算推進科學研究？