天天看點

性能提升數倍 IBM光譜計算搞定海量資料處理

一直以來,ibm給人呈現出的形象就是高大上的前瞻者,在大資料等方面一直引領着行業發展。近兩年ibm還提出了認知商業概念,将企業級計算相關應用推向了高潮。

spectrum computing(光譜計算)是ibm剛剛推出的産品,它是一套全新智能資源與工作負載管理軟體,能使企業更為輕松地挖掘資料價值,提升性能密集型大資料分析工作負載和機器學習的速度。該技術将為各行各業的客戶提供支援,比如通過基因組排序實作更好的癌症治療、輔助工程師設計出具有奪冠實力的一級方程式賽車、幫助銀行家面向潛在客戶推出個性化金融服務。

ibm整合platform推出光譜計算 

性能提升數倍 IBM光譜計算搞定海量資料處理

ibm軟體定義解決方案大中華區銷售經理 周立旸

platform computing之前筆者也曾接觸過,這是一家技術實力很強的企業,在分布式計算等方面有着較深造詣。當時給人留下深刻印象的案例就是空中客車以及各個證券交易所的分布式系統,非常強大。而在2011年ibm正式收購了platform computing,這些年來将其技術不斷融入ibm,使其成為了現在的spectrum computing(光譜計算)。

談到光譜計算,ibm軟體定義解決方案大中華區銷售經理周立旸認為:傳統來說,往往計算和存儲是分離的,随着新的認知型應用的發展,不僅需要水準擴充,實際上也是應對整個認知商業的大環境。我們不僅要存儲、管理海量的資料,讓這些資料真正産生價值,還是要對它進行有效應用和分析。在去年釋出光譜存儲家族軟體定義存儲的基礎上,我們在今天釋出spectrum computing,實作軟體定義的平台,有助于使用者、企業在軟體定義存儲的基礎上通過軟體定義計算對海量的非結構化資料進行充分的利用,進而為企業的數字化轉型找到更多的價值點,也找到新的應用。

spectrum computing包含六大産品,提供強大整合管理能力

産品方面,據周立旸介紹光譜存儲有六大産品,這六大産品可以單獨作用,也可以互相結合,spectrum computing目前包含三大産品。一個是lsf,主要針對高性能和批處理應用,高性能計算在國内外很多制造業、電子行業、生命科學領域用的比較多,同樣在企業裡面也有大量批處理應用。

此外還有symphony,主要針對大資料和高性能分析,一方面完全相容所有hadoop的接口,另一方面提供了自己的api,使得高性能分析應用不經過修改、隻要經過這個api就可以在一台機器乃至幾千台機器上動态地運作。

ibm最新釋出的光譜計算中還包含全新的spectrum conductor。在應用方面,針對了所有新型的雲應用,像現在spark記憶體計算方式非常流行,還有新的nosql資料庫,針對這些雲類型的應用,需要有一個工作負載管理的産品。conductor是可擴充的融合架構,不僅僅是水準擴充的軟體定義的元件,它當中整合了軟體定義計算和軟體定義存儲,這包含了分布式檔案系統,也包含了怎麼樣把内部的資料和外部的雲資料整合起來進行管理的能力。這也是整個産品家族裡面最新的一個産品。

未來,随着軟體定義計算和軟體定義存儲的融合,ibm會增加更多的整合方案,推出更多針對水準擴充的軟體定義環境的融合架構的産品。

軟體定義讓企業使用者更容易實作擴充

周立旸認為軟體定義已經變得越來越重要。随着企業資料量越來越多,不是單一工具就能夠滿足它認知商業的所有需要,可能需要各種各樣的工具,需要不同的nosql的db,需要記憶體計算、流計算對實時資訊作處理。每一種新型工具都是水準擴充的架構,對任何一個企業來講都有五個到十個工具,可能對應采用傳統的方式就要五個到十個叢集。叢集本身的管理使用起來比單一系統複雜。随着認知商業、雲計算應用的發展,企業内部叢集應用越來越多,必然需要一種新型方式,把很多個叢集整合成一個,或者把一個雲或者一個叢集當做很多個叢集來用,這正好是軟體定義基礎架構所解決的問題。

據周立旸介紹,ibm也有這樣的客戶,無論是國内、國外,國外有個金融保險公司,在一個平台上運作了30多種不同的分布式應用,包括開源軟體,包括商用的客戶行為分析、spss應用等。對于使用者來講,這種方式比自己建立很多個不同的叢集更好,每個叢集随着業務的增長還需要不斷地擴充,不同的叢集還需要通路下面的資料,這個複雜性的話随着應用的增加而成一個脊柱型的增長,必然最後會采用軟體定義的方式來管理所有分布式的應用。

科研、金融和電信開始應用光譜計算

應用方面,周立旸表示目前光譜計算在金融業、電信應用比較多,電信行業中資料量非常大,要用水準擴充的架構,是以很多用大資料分析的平台也在用光譜計算。生命科學行業,前段時間ibm剛剛辦了一個會,請了清華大學國家蛋白質中心代表和大家分享。随着生命科學的發展,它的資料量增加的非常多。清華大學的電子顯微鏡,大概資料産生速度是一天産生20多tb的資料,是以一定要通過水準擴充的架構。由于清華大學一棟教學樓的空間有限,現在這個叢集要分在幾個不同的樓層裡面來,是以采用了ibm的軟體定義方式進行生命科學的分析平台。未來随着認知商業的普及,相信行業覆寫面會越來越多、越來越廣。

看似高大上的光譜計算目前已經開始應用到各個行業領域,采用軟體定義方式,能夠把整個叢集平均使用率提升到90%甚至更高,有五到六倍效率提升。光譜計算給企業級應用帶來了質的飛躍,新技術帶來新革命,ibm繼續着他的探索之路。

本文作者:雲中子

來源:51cto

繼續閱讀