擁抱開源！解析IBM Power8與Hadoop的不解之緣

大資料分析不僅改變了企業開展業務的地點和方式,而且還在改變業務決策流程的速度與範圍。企業希望通過投資大資料分析技術來增強客戶體驗、提高客戶忠誠度、開創全新的創收機會。他們需要部署經濟高效的、高性能的、可靠靈活的it基礎架構,以便利用特殊的資料資産來産生最佳業務成效。

與x86架構相比,客戶能夠通過數量更少但卻更加可靠的power8伺服器來降低總體擁有成本(tco)。更重要的是,這些客戶還将能夠受益于不斷發展壯大的ibm合作夥伴開源生态圈(openpower基金會)及一緻性附加處理器接口(capi)等颠覆性創新技術所傳遞的卓越價值。

ibm以開放的态度擁抱開源

ibm一直将開源合作視為創新驅動力，倡導、參與和支援linux和開源軟體，并将開源技術融入滿足企業客戶需求的各種方案中。ibm是大資料市場中規模最大的供應商。近10年來，他們投資超過150億美元來開發全套的大資料解決方案。power對開源的支援，也使今天的開發者更容易利用開源技術開發大資料分析應用。

ibm還在power systems伺服器上提供最新版本的ubuntu伺服器、ubuntu openstack和canonical公司的jujucloud orchestration工具。基于power 的ubuntu為現有的linux應用向power移植提供簡便的通道，用以輕松實作雲部署，建成新的大資料和移動軟體應用，并幫助提升現有雲端應用的性能。基于power 的ubuntu對已經全線支援紅帽和suse linux作業系統的power systems産品線提供了良好的補充。

此外，ibm通過openpower基金會使power8用于開放式的開發。openpower基金會是一個多家業内公司圍繞着power8平台成立的聯合組織，緻力于加快資料中心的創新及基于power8架構的系統設計變革。openpower基金會中不僅包括家喻戶曉的科技巨頭(如google、samsung、nvidia、micron及mellanox)，還包括浪潮、中興等國内企業。openpower基金會提供power軟硬體用于開放型開發，以及power知識産權許可。power8的開放将為大資料分析、移動、社交催生更好的基礎架構平台。

power8讓hadoop應用性能提升3.65倍

hadoop是一個能夠對大資料進行分布式存儲和處理的軟體架構，它具有高可靠性、高擴充、容錯、高效、低成本的特點，一度廣受網際網路公司青睐，企業級使用者也越來越多的接受hadoop。但凡事都有兩面性，佘晖表示，星環科技在做hadoop應用和技術的時候，發現hadoop是非常耗費計算資源的，使用者希望獲得更優秀的性能。

通過測試發現，ibm power8産品非常适合hadoop應用。據星環科技提供資料顯示，在與ibm合作針對hadoop的性能優化和調優後，ibm做了很多改進，與x86處理器相比，power8實作了3.65倍的運作速度提升。除了性能外，power在中國很多的行業、在企業級市場有着深厚的積澱和客戶群，産品也非常适合這些客戶，這也是星環科技選擇power的原因。

大資料助力空氣品質預測

擁有強大叢集能力的power伺服器在應用方面有何過人之處呢？幫助北京預測空氣品質就是其中之一。ibm在去年就與北京市政府簽署協定，利用先進的天氣預報和雲計算技術，協助中國防治大氣污染。

據了解，北京市政府是ibm“綠色地平線”計劃（green horizon）的合作夥伴之一。ibm與北京市相關機關合作并共同研發，利用ibm認知計算、大資料分析以及物聯網技術的優勢，分析空氣監測站和氣象衛星傳送的實時資料流，憑借自學習能力和超級計算處理能力，提供未來72小時的高精度空氣品質預報，實作對北京地區的污染物來源和分布狀況的實時監測。

綠色地平線項目ibm實驗室會跟環保局、監測站，收取很多的檢驗資料，通過軟體做預計分析。比如原來可以預測3天，現在可能提前到10天。

據ibm大中華區硬體系統部powersystems産品總監李紅介紹，ibm實驗室有一套資産算法，去分析大氣污染，提供算法服務和支撐。因為是計算密集型的，需要大量計算，是以用到了剛剛釋出的s812lc平台。包括其他産品在内，構成了整個雲平台環境，去完成對大資料的分析，對污染環境的預測等等。這個項目目前還在進行中，政府也希望這個項目未來可以推廣擴充到其他的城市。

總的來看，ibm power8依然是高性能、高可靠性的代表，它比較适合計算比較密集的場景，更适合于做資料倉庫、做批處理、資料挖掘、模型模組化等方面應用。是以，它與hadoop也就有着不解之緣，未來的各種行業應用還在拓展之中，讓我們拭目以待！

本文轉自d1net（轉載）