天天看點

如何提升CAE/CFD的高性能計算應用效率?

CAE(Computer Aided Engineering)是指利用計算機對工程及工業産品的結構、性能及運作狀态等進行仿真,CFD(Computational Fluid Dynamics)是指利用計算機數值求解流體力學問題。

目前,基于高性能計算機的CAE/CFD仿真在航空航天、汽車船舶、石油化工、土木建築等領域有廣泛的應用。并且,随着計算機技術的不斷發展,CAE/CFD在上述領域的作用愈漸重要,特别是在航空航天領域,CAE/CFD已經成為與理論分析和風洞實驗并列的三種研究手段之一。美國航天局NASA預測,航空航天飛行器的設計會在不遠的将來發生革命性的變化,即實作在基于CAE/CFD仿真資料的數值風洞中的虛拟飛行。

高性能計算在CAE/CFD上應用的首要目标是用最低的成本擷取最接近真實的結果。目前,CAE/CFD行業軟體衆多,客戶對這些軟體的應用要求也是千差萬别,難以形成統一的解決方案。

那麼高性能計算在CAE/CFD中應如何應用優化呢?首先,我們先分下CAE/CFD的特征。

CAE/CFD軟體基本上采用有限元法或有限體積法求解控制方程,在計算時涉及大量的前後時間步疊代以及交界區域處理,屬于計算密集型,對CPU性能的要求自然是越高越好。

一般來講,采用顯式時間格式的CAE/CFD軟體對記憶體容量的要求一般,而采用隐式時間格式的CAE/CFD軟體對記憶體容量有比較高的要,至于對記憶體帶寬的要求則是與單節點内的程序數直接關聯的,程序數越多,記憶體帶寬要求越高。

在I/O層面上,多數CAE/CFD軟體在讀操作時,由主程序讀入資料,然後向從程序分發資料;在寫操作時,由主程序統一收集從程序的資料,然後主程序寫出資料。也就是說,隻有主程序直接負責I/O操作。是以,CAE/CFD對I/O存儲的壓力一般。

如前所述,由于CAE/CFD軟體在計算時要做前後時間步疊代和交界區域處理,是以,對網絡通信也比較高,宜采用InfiniBand網絡。

接下來,我們再看一下如何進行高性能計算的CAE/CFD運作優化。

由于CAE/CFD多為商業軟體,一般隻能做硬體級優化與運作級優化。考慮到前文的特征分析,在硬體級優化層面,我們可以通過配置高主頻CPU和四通道記憶體來分别提高CPU、記憶體的性能,更可以通過對網絡接連拓撲,路由選擇算法以及RDMA等方面進行優化來提升InfiniBand網絡的通信能力。

在運作級優化層面,一般是采用MPI優化的政策。例如,MPI程序綁定優化,MPI消息傳遞機制優化,以及MPI通信共享記憶體優化等。随着PGAS(Partitioned Global Address Space)程式設計模型,以及GPU、MIC等加速協處理器的發展,上述傳統算法将會被極大改進。

以Fluent算例為例,浪潮使用其自主開發的“天眼”高性能應用特征監控分析系統(英文:Teye),監測和分析了Fluent的應用特征。在Intel Xeon E5-2680v3 CPU平台上和144個程序下,計算了1000萬網格規模的Fluent算例。

在下圖中,通過浪潮天眼可以看出Fluent 的CPU使用率接近100%,參與計算的實體核心基本上在滿載運作,說明了Fluent屬于計算密集型。

如何提升CAE/CFD的高性能計算應用效率?

浪潮天眼分析Fluent算例的CPU使用率

在記憶體帶寬方面,天眼監測到Fluent的記憶體帶寬需求主要發生在網格建構、合并及劃分之後總記憶體帶寬約為45GB/s。其中,讀記憶體帶寬約為40GB/s,寫記憶體帶寬約為5GB/s。Fluent由主程序讀入和寫出資料,從程序不直接參與I/O操作。另外,資料讀寫量與Fluent算例大小成正關系。

如何提升CAE/CFD的高性能計算應用效率?

浪潮天眼分析Fluent算例的記憶體帶寬

此外,我們還可以看到除開始階段主節點的讀操作速率達到40MB/s外,在Fluent的整個計算過程中,I/O操作壓力比較小。作為典型的CFD軟體,Fluent需要采用InfiniBand網絡進行資料通信。

如何提升CAE/CFD的高性能計算應用效率?

浪潮天眼監測Fluent算例的磁盤讀寫操作情況

在計算初期,Fluent通過網絡進行大量的資料發送與接收操作。在之後的計算過程中,資料發送與接收呈現連續流特征,其速率維持在60MB/s ~ 100 MB/s。由此可見,Fluent是一款網絡密集型軟體。

如何提升CAE/CFD的高性能計算應用效率?

浪潮天眼監測Fluent算例的InfiniBand網格資料發送與接收情況

下圖為浪潮天眼分析監測的Fluent算例的雷達圖,直覺地顯示了Fluent的各項應用特征。

如何提升CAE/CFD的高性能計算應用效率?

  通過浪潮天眼分析的Fluent軟體應用特征雷達圖

浪潮在高性能計算方面擁有豐富的CAE/CFD優化經驗,通過浪潮天眼可以更全面、更精細的分析CAE/CFD軟體特征,提供軟硬一體化的全方位優化方案。目前浪潮的CAE/CFD高性能計算應用方案已經廣泛的應用在了航空航天、汽車船舶、建築建設等行業。

原文釋出時間為:2016年6月2日

本文來自雲栖社群合作夥伴至頂網,了解相關資訊可以關注至頂網。

繼續閱讀