天天看點

Hadoop和大資料兩個世界是合并還是沖突?

在資料庫格式領域将會發生一場戰争嗎?hadoop和大資料這兩個世界在企業界會合并還是沖突?就在janath manohararaj以藍十字藍盾協會(blue cross and blue shield assoc.:美國第一大私人健康保險公司集團----譯者注)資料庫服務團隊負責人的身份作客siliconangle的流動新聞平台cube之前,他與cube的搭檔主持人john furrier和dave vellante在幕後提及了這些問題。這些熱門話題充分激起了manohararaj的興趣,也開啟了他在惠普vertica大會的現場訪談。

談及資料庫以及深入探讨hadoop的現狀時,manohararaj提醒電視觀衆在發展初期隻存在關系資料庫,大資料是如此的新穎以至于它屬于市場中截然不同的陣營。就藍十字藍盾協會所涉及到的而言,這家健康保險供應商未看到資料庫與大資料沖突的風險。恰恰相反,它預感到兩個事物正在向着資料管理的目的而互相融合。

vellante想探尋這家公司曆史上是如何使用資料的。manohararaj提到以前處理資料的老方法是每個項目都有其自己的資料倉庫,由于資料的重複而導緻其擁有成本非常高昂。與之相反的是,hadoop将事情變得更加容易,帶來了成本下降而性能提升。

回憶起他的公司意識到到hadoop潛力時的那個興奮時刻,manohararaj承認最初在2008年藍十字藍盾協會就通過将vertica引入系統而進行預資料庫的配置。manohararaj的團隊立馬就觀察到性能的提升,比以前的速度快了十倍。

“第一步是從傳統的dbms(資料庫管理系統----譯者注)轉移到以列為基礎的資料模式。現在我們正在考慮建立一個資料湖泊(data lake)---- 一個統一标準的資料倉庫” manohararaj确認到。

平衡創新與遵循

關于醫療保健行業,furrier想更多的了解藍十字藍盾是通過什麼樣的方式平衡創新需求與遵循行業規則的要求的。“就醫療保健而言”,manohararaj解釋到,“資訊需要是即刻的,而這在以前是個問題。vertica是我們應用過的最好的資料庫之一。”

“vertica就是工業界的法拉利,”furrier也贊同這一點,并追問manohararaj要其解釋什麼造就了vertica如此的成功。manohararaj列出了三個關鍵因素:

1. 性能;

2. 低成本;

3. 非常棒的支援(主動型服務,調用 (call) 和回調功能( (call backs) )

開源與供應商分布

manohararaj訪談中讨論的最後一個議題關注了企業大資料商業化這個興起的程序,而這也是另外一種沖突正在發生的領域。

“你是在使用供應商分布軟體還是開源的apache hadoop”vellante問到,他很好奇企業是如何應對這兩種銷售大資料解決方案的截然不同的方法的。manohararaj透漏這項工作正在進行當中,他們正在逐漸向開源靠近:“開源總是一種挑戰,學習曲線總是很陡峭的,而且你需要教育訓練。而擁有專屬解決方案,就要容易很多。”

原文釋出時間為:2014-08-20

本文來自雲栖社群合作夥伴“大資料文摘”,了解相關資訊可以關注“bigdatadigest”微信公衆号