天天看點

Cloudera用現代化企業資料架構,擁抱混合資料未來

作者:飛象網

(魏德齡/文)資料的發展能夠産生什麼樣的魔法效益?跑步、騎車這類曾經被很多人在中學時代視為枯燥的耐力項目,随着秒表/碼表發展成為了智能表/功率計,讓更多人在資料的爆發中發現此前未知的自我,比賽過程中運動員所實時共享出的資料,也大大提升了觀賞度。如今,雲計算大資料也照樣在體育賽事中嶄露頭角,足球比賽中實時分析産生的跑動距離、點球方位的統計,F1賽事中對于排位賽晉級圈速的估算、正賽中車輛之間的實時距離,全部給予了觀衆耳目一新的感覺。

這一切的背後正是資料的發展,不同位置多種來源的資料源源不斷的産生,如同一堆混亂的表格檔案,在企業主的桌面上堆砌,其中蘊涵着無數可能,也充滿了管理的煩惱。資料大爆發的背後,資料生态系統架構也正在朝向未來進化。

未來資料生态系統架構

談及未來資料生态系統架構,普遍被大家所提及并達成共識的莫過于資料網格、資料編織、湖倉一體這三個概念。

資料網格是指一種範式轉變,其中資料由業務中的不同域擁有和管理。“它的想法是資料與産品思維的融合,這個産品是講企業内部裡資料對外提供服務的方式。 ”Cloudera大中華區技術總監劉隸放解釋稱。以往企業在分析領域的思路多是集中式的管控,對外進行服務,而資料網格範式基于域主權、資料為産品、自助式資料平台、聯合計算治理四項原則。通過域主權,資料成為一個産品,部門之間可以以産品的方式調用,規避了“影子IT”所帶來的一系列問題。

資料編織是一種跨平台的資料整合方式,它不僅可以集合所有業務使用者的資訊,還具有靈活且彈性的特點,使得人們可以随時随地使用任何資料。“我們現在要做的事情,可能不光對人工的方式、手動資料管理進行服務,也要對未來的機器學習、自動的發現方式、對外進行服務,在這個架構裡比以前要求更高。 ”劉隸放表示過去手動的中繼資料管理現在正在被一種積極主動的通過機器學習來建構中繼資料的方法取代。Gartner在今年提出資料編織的終極目标是為了資料的內建和通路提供一種更靈活的,無縫的自動化的方式,其中主要包括能夠連接配接的服務與提供自助的服務。

湖倉一體內建并統一了資料倉庫和資料湖的功能,旨在支援單一平台上的AI、BI、ML和資料工程。其集資料倉庫與資料湖之所長,并規避了兩者存在的一些問題,适用于資料分析和機器學習工作負載,擁有減少資料備援、成本效益,易于資料版本控制、治理和安全性等多重優勢。“有了湖倉一體,我們可以在同一個平台裡同時實施資料倉庫和資料湖的需求,這個時候會提高成本效益。 ”劉隸放表示湖倉一體去其實也是降本增效的一個思路。

人人獲益的三種方法論

值得一提的是,這三種正在被外界廣泛讨論并認可的方法論其實本身并不沖突。劉隸放認為面對企業内部的不同角色,就需要講不同的資料架構和方法論。

Cloudera用現代化企業資料架構,擁抱混合資料未來

對于公司CEO或CIO而言,由于更關注如何在管理成本和維護人員規模的同時進行擴充,自然會關心資料網格,進而平衡企業内不同業務部門在組織架構下的資料所有權,以及資料和産品服務的方式。

對于CTO或CSO而言,其真正關心的是如何做技術方案與分析系統,保持一緻性并建構标準模式,資料編織自然成為了關注的焦點,如何用資料編織的方法豐富資料倉庫的建構方式,能夠為将來機器學習自主的治理提供服務。

對于領域從業者或技術人員而言,湖倉一體則更為受用,可以了解為方法論,也可以了解為工具,尋求在具體項目上的優化。

Gartner曾經表示:“未來資料的生态系統應該充分的利用分布式資料管理元件,可以在多個雲和/或本地進行運作,但應該被視為具有高度自動化的緊密的整體,像內建、中繼資料管理和治理功能将各個元件粘合在一起。 ”

這就意味着,關于資料未來的三種方法論其實将會有機的融為一體,最終讓企業中的每個角色獲益。

擁抱混合資料未來

Cloudera的新定位恰恰呼應了企業資料架構的未來,這家混合資料公司給出的定位是:我們提供适用于資料編織、資料湖庫、資料網格和未來資料生态系統架構要求的混合資料平台的混合資料平台,允許客戶在多個公共和私有雲以及本地通路和分析資料,使企業能夠做出由資料驅動的明智決策,幫助企業建立由資料驅動的未來。

Cloudera用現代化企業資料架構,擁抱混合資料未來

實際上,CDP(Cloudera Data Platform) 是業界唯一适用于資料編織、資料湖庫、資料網格和未來資料生态系統架構要求的混合資料平台。 Cloudera的資料平台實作了對于現代資料架構的全面支援,産品技術能夠适應資料網格、資料編織、湖倉一體這三種架構概念,同時在多雲和本地部署上,都可以做到管理和分析。Cloudera的分析代碼經過一次編寫即可跨平台運作。另外,SDX還能夠做到資料的統一安全管控和治理。

以靈活且簡單的方式建立資料驅動型文化、以性能和成本效益驅動價值、以速度和控制拉動企業增長是Cloudera擁有的三大核心優勢。“我們仍然緻力于實作讓每個人都可以輕松通路資料和分析的願景,以及我們成為混合資料上司者的使命。我們相信,資料可以讓今天的不可能,在明天成為可能。”此前Cloudera的一篇官方文章中曾這樣表述。

對于衆多企業來說,資料正在源源不斷的出現,如何利用資料挖掘其中價值,在未來或許比擷取更多資料更加重要。Cloudera的資料平台将為企業帶來通過資料戰略在競争中實作“彎道超車”的機會,混合資料方法即将成為企業未來的“必需品”。

繼續閱讀