繼續支援開源，IBM新型主機平台能夠更好支援Spark

ibm公司近日宣布推出基于apache spark的新型z/os平台，以幫助企業使用ibm大型主機更加友善、快捷地通路和分析資料。此舉将給資料科學家和開發人員創造新的機會，幫助他們對系統豐富的資料集進行進階分析，以實作實時洞察。apache spark是一種開源的分析架構，ibm此次推出的基于spark的z/os平台将支援其在z/os主機作業系統上實作本地運作。新的作業系統平台可以幫助資料科學家打通分析庫和底層檔案系統之間的聯系，無需進行提取、轉換和加載(etl)即可對資料實作就地分析。

在認知時代，資料作為一種新的自然資源能夠被計算機系統所了解、推理和學習，但企業必須在資料價值有效期内對其進行分析，形成洞察并予以應用。新的z/os平台配有來自業務合作夥伴的加速器，可以幫助企業更便利地利用大型主機的資料和能力，來了解市場變化和客戶的個性化需求，進而對業務及時進行調整，更快實作價值。

ibm大型主機被全球各大銀行、保險公司、零售商和運輸公司廣泛用于關鍵資料處理和交易。它擁有業界最快的商用微處理器，以及内置的交易分析功能，可以在不超過2毫秒的時間内為某項交易的預測模型評分。目前，企業可以利用這些功能，在無需從主機中下載下傳資料(without moving data off the mainframe)的條件下通過spark來進行進階記憶體中分析，既節省時間和成本，又降低風險。

ibm專注于新興網際網路技術的院士rod smith表示，“各種規模的企業在向實時數字化轉型時，都需要對自己所有的資料了解清楚，這個過程不應花費過多的時間，也不應有提取、轉換和加載(etl)的風險。現在我們實作了在包括大型主機在内的ibm平台上本地(natively)運作apache spark，客戶可以并行執行處理關鍵資料的交易處理系統和分析系統，同時從其他資料源擷取關聯洞察，幫助他們與客戶進行實時互動，繼而産生效益。”

基于apache spark推出的ibm z/os平台具備apache spark core、spark sql、spark streaming、machine learning library (mllib)和graphx等開源功能，可提供業内唯一的主機常駐spark資料提取解決方案。新的平台幫助企業通過以下途徑更加高效、安全地擷取資訊：

簡化開發——開發人員和資料科學家可利用他們已有的scala、python、r和sql等程式設計經驗來更快實作可用洞察的價值。

簡化資料通路——經過優化的資料抽象化服務消除了複雜性，通過apache spark api使用熟悉的工具對ims、vsam、db2 z/os、pdse或smf等傳統格式實作企業資料的無縫通路。

就地資料分析(in-place data analytics)——apache spark使用記憶體計算來處理資料，可以快速産生結果。新平台具備資料抽象和內建服務功能，可以讓z/os分析應用程式利用标準spark api。這可以讓企業就地分析資料，避免産生提取、轉換和加載相關的高額處理和安全性問題。

開源功能——新平台提供了一個應用于apache spark、專門針對大資料設計的開源記憶體計算引擎。

ibm也在與datafactz、rocket software和zementis這三家公司進行合作，通過ibm z/os平台為apache spark開發定制解決方案：

datafactz是ibm新的合作夥伴，雙方正在合作開發基于spark sql和mllib的spark分析産品，以用于在大型機上處理的資料和交易。

rocket software已經成為ibm的長期合作夥伴，兩家公司在z/os apache spark領域也已展開合作。比如，新的rocket launchpad解決方案可以讓客戶使用z/os資料來體驗平台功能。

zementis正在開發支援apache spark的基于多個标準的執行引擎。作為一款新的z/os交易中預測分析(in-transaction predictive analytics)解決方案，它允許使用者在處理交易時部署和執行進階預測模型，幫助使用者在影響最大的時候實時地預測終端使用者需求、計算機風險或偵測欺詐。

基于apache spark推出的全新z/os平台以及合作夥伴相關解決方案，可以讓那些從不同來源采集資料的資料科學家和資料管理者用自己喜歡的格式和工具來收集和分析資料。

ibm去年釋出了一項 針對spark的承諾，将投入3500名ibm研究人員和開發人員參與與spark相關的項目。為了推進支援大型主機分析的開源技術，大型主機還成了一個新的github組織，以便開發人員協作建立針對spark的z/os工具。比如，project jupyter和任一nosql資料庫的組合都能提供靈活、可擴充的資料處理和分析解決方案.

這一方法可以幫助件開發人員選擇他們的工具和語言，提供能夠在不同資料環境中監控分析結果的新型視覺輔助工具，開發出新的資料處理技術和技巧，進而讓新的開源工具更易使用。

使用z/os的開發人員現在已經可以下載下傳基于apache spark的ibm z/os平台。

本文轉自d1net（轉載）