天天看點

世界頂級的資料密集型處理系統揭秘

前不久在德國舉行的國際超級計算大會(isc)宣布了世界頂級的資料密集型處理系統。科學技術計算應用領域處理大資料問題的頂級超級計算機榜單名為graph 500,每年更新兩次;一次是在isc,另一次是在一年一度的超級計算大會(supercomputing conference),2012年這屆大會于鹽湖城舉行。

這份榜單始于2010年的isc,對應于注重處理速度這個結果的top500。graph 500基準測試評估計算機在處理資料密集型分析應用時的性能,并且評估計算機的通信功能和計算性能。

這一挑戰賽的名稱來源于它所解決的問題的根源,名為“圖形類”運算——這些算法是許多應用中分析工作負載的核心部分,比如網絡安全、醫療資訊學和資料強化等應用。

按照graph 500小組(該小組得到了世界各地50餘位高性能計算專家的支援)的官員說法,資料密集型超級計算機應用對高性能計算工作負載來說越來越重要,但是不适合為3d實體模拟而設計的平台。

他們聲稱,“目前的基準測試和性能名額無法提供關于超級計算系統适合資料密集型應用情況的有用資訊。為了指導廠商設計旨在支援這類應用、幫助采購的硬體架構和軟體系統,就需要一套新的基準測試。圖形算法是許多分析工作負載的一個核心部分。”

由于起源于高性能計算領域,又與top500榜單有着關系,graph 500榜單上的系統并非企業系統,與注重性能的top 500榜單有幾個相似之處,因為設計時注重速度的許多超級計算機也具有相當強大的一些圖形處理功能。

兩款資料密集型系統并列第一,絕對遙遙領先于榜單上的其他系統。雖然graph 500仍處于初期階段(與曆史悠久的top500榜單相比),但我們預計更多的團隊會送出系統,以便拿仍在完善中的graph 500基準測試進行對照。

不妨先介紹兩款頂級系統,它們在争奪世界上功能最強大的資料密集型系統這個頭銜中打成平手。

第一名:米拉(阿爾貢國家實驗室)

世界頂級的資料密集型處理系統揭秘

除了在今年的top500超級計算機榜單上名列第三外,米拉(mira)超級計算機還在graph 500奪得頭把交椅。

graph 500的目的是想看看超級計算機能夠為密集線性代數(計算密集型浮點)運算提供多高的性能。阿爾貢國家實驗室稱,米拉主要是為了為這類運算提供超高性能而設計的,因為這類運算與科學和工程應用高度關聯。

計算機經常用來解決小的圖形問題(比如說,為運貨卡車車隊規劃最佳路線)。然而,圖形問題會變得非常棘手,因為它們會擴充到更龐大的資料集(設想一下估計氣候對小地區内城市經濟的影響和評估氣候對全國城市經濟的影響之間的差別)。

管理阿爾貢上司力計算中心應用性能工程團隊的kalyan kumaran說:“要是有在這幾種運算方面性能超群的超級計算機,那麼這一類非常有用的計算技術就可以運用到更廣泛的領域。米拉所能處理的問題類型要比大規模科學模拟廣泛得多。”

ibm藍色基因/q系統位于阿爾貢上司力計算中心(aclf),它每秒能夠處理1016次運算。阿爾貢國家實驗室稱,其目的是一旦完全投入運作,讓米拉每年能夠處理50多億個計算小時。

vesta是米拉的測試和開發系統,它在graph 500榜單上名列第6。米拉在阿爾貢國家實驗室的前身:ibm藍色基因/p則排名第16。

并列第一名:紅杉(勞倫斯利物莫爾國家實驗室)

世界頂級的資料密集型處理系統揭秘

近期關于紅杉(sequoia)的重大新聞是它如今是世界上速度最快的超級計算機,在top500榜單上力壓群雄。然而,勞倫斯利物莫爾國家實驗室強調,該超級計算機不僅僅是為了追求速度而制造的,還是為處理實際環境的資料密集型應用而制造的。

米拉位于阿爾貢上司力計算中心(alcf),而紅杉位于勞倫斯利物莫爾國家實驗室,各自都達到了超過3500 gteps的分數。gteps指每秒通路的10億邊緣。

勞倫斯利物莫爾國家實驗室有多款超級計算機入圍今年的graph500榜單,包括使用固态硬碟存儲陣列來儲存圖形的幾款超級計算機。利維坦(leviathan)這款系統有一個含40核心的節點、1tb記憶體和12tb閃存,它是該實驗室的另一款明星級大資料超級計算機。

美國核安全局管理者thomas d’agostino告訴勞倫斯利物莫爾independent網站,“雖然紅杉也許是速度最快的,但是它提供的底層計算功能卻讓我們對本國的核威懾力量更有信心,因為按照條約協定,武器儲備有所改變,這是奧巴馬政府核安全議程的一部分。紅杉還代表了美國在高性能計算領域繼續扮演上司地位,這是促進高品質工作和經濟繁榮的技術創新的關鍵所在。

紅杉有望讓研究人員更全面地認識武器性能,特别是材料在極端壓力和溫度下的流體動力學和特性。尤其是,該系統将讓整套高度解決的不确定性量化運算能夠支援延長老化武器系統壽命的工作。

第三名:與ibm開發工程部門共同設計的darpa trial subset

世界頂級的資料密集型處理系統揭秘

系統規格和性能方面遠不如另外兩款系統(節點數量分别是32768個和區區1024個)的是與ibm開發工程部門共同設計的一款國防進階研究計劃局(darpa)系統,名列第二,僅次于兩家國家實驗室打成平手的兩個系統。

我們無法得知這款系統的詳細資訊,隻知道它是power 775,這是時鐘頻率在3.836 ghz左右的power7 8c。

ibm開發工程部門有許多另外的系統,送出今年top500考慮審查,包括兩款idataplex系統,一款名列第175位(有10128個核心),另一款名列第213位,有7248個核心。

雖然有關這款大資料系統的詳細資訊寥寥無幾,但我們完全可以設想ibm計算機旨在快速處理資料密集型軍事和國防應用。至于排名第三的那個系統,我們倒是知道有關它的一些詳細資訊,不過該系統位于美國境外。

第四名:oakleaf(東京大學)

世界頂級的資料密集型處理系統揭秘

富士通的oakleaf-fx系統位于東京大學資訊技術中心,它被認為是功能最強大的資料密集型超級計算機之一。

oakleaf-fx是富士通公司的primehpc fx10超級計算機之一,它是為峰值浮點運算性能而設計的,同時也非常注重能效,據說整個系統的功耗隻有140萬瓦。

東京大學現在使用這台超級計算機處理許多資料密集型科研項目,包括生物學、材料學和航空航天等衆多領域的科研項目。該大學去年表示,它之是以選擇這台超級計算機,是因為它與富士通公司的k超級計算機相容,而k超級計算機在top500榜單上名列第二。

東京大學it中心超級計算部門主任中島研吾博士說:“primehpc fx10超級計算機系統(oakleaf-fx)将有助于促進學術界和工業界的使用者在各種類型的研究開發工作中取得進展。oakleaf-fx将用于東京大學研究所學生院的高性能計算教育計劃,旨在培養未來的計算科學家。oakleaf-fx的性質決定了它的優先事項将放在大規模任務上。”

東京大學還擁有graph 500榜單上的第四名:在東京工業大學全球科學資訊計算中心有一個惠普叢集平台。這個系統是一台性能強勁的資料處理系統,得益于1366個節點中每個節點都有三塊英偉達特斯拉(tesla)卡的配置。

想了解榜單的更多資訊,包括前十強——包括位于阿爾貢國家實驗室、布魯克黑文國家實驗室和勞倫斯伯克利國家實驗室的更多“藍色基因”和超級計算機,不妨浏覽主榜單

下一篇: 封裝

繼續閱讀