天天看點

如何選擇适合你的企業資料管理類産品細數數倉30年發展史傳統數倉産業總結

前言:更多關于數智化轉型、資料中台内容可掃碼加群一起探讨

如何選擇适合你的企業資料管理類産品細數數倉30年發展史傳統數倉産業總結
阿裡雲資料中台官網 https://dp.alibaba.com/index

作者:阿裡雲資料中台

導讀:資料工程研發的曆史是可以追溯到上世紀八十年代的資料庫和資料倉庫理論,随後一大批的資料管理服務廠商開始崛起。數倉發展30年,到了數智化的新時代下,我們又該用什麼視角來為自己選擇一款适合時代發展的産品呢?

細數數倉30年發展史

資料庫與數倉的老牌産品供應商

資料工程研發的曆史是可以追溯到上世紀八十年代的資料庫和資料倉庫理論,随後一大批的資料管理服務廠商開始崛起,其中 Oracle、Informatica 兩家非常有代表性,在行業中身居統治地位。

Oracle

Oracle 的資料庫在雲計算逐漸鋪開、去IOE聲浪逐漸擴大的趨勢中開始式微,以及各類新興的非接口化存儲,如ElasticSearch、TSDB、MongoDB 等,OLTP場景下的市場佔有率争奪激烈,除了老牌的資料庫廠商外,一些雲計算大廠也開始了資料庫産品的研發,如AWS的Aurora、阿裡雲的PolarDB ,在雲計算市場中開始成為企業雲架構的基礎能力。

同時,在OLAP場景下,也就是Informatica一直處于霸主地位的市場中,在12年大資料逐漸進入公衆視野後,越來越多的挑戰者進入,幾大雲廠商也不例外,其中以Google、Azure和阿裡雲的追趕最為猛烈,Google在雲計算先機失利的情況下,開始發揮巨大現金儲備的優勢,開始買買買,投資了 CASK、LOOKER等産品,微軟則是利用自身的産品沉澱,收割着辦公領域的存量客戶;阿裡雲則是以“資料中台”架構打響了企業數字化轉型的重要一槍,國内開始大量出現資料中台服務商,生态開始繁榮起來。

Informatica

在這樣的大環境下,Informatica作為老牌的資料管理廠商,目前在Gartner魔力象限中依舊占有非常重要的席位,是以在衆多企業選型的時候,都會考慮到使用Informatica的産品,但是國内這個産品一直是名聲大市場小,對于Informatica的好奇,也為了給客戶能夠提供更加全面的參考,我們對Informatica進行比較細緻的調研,主要從産品能力、技術支撐以及傳遞模式,因為商業化的企業服務産品都不便宜,希望一次采購能夠帶來比較長期的收益,是以産品是否能夠持續使用起來也是我們關心的一個要素。

首先看Informatica的産品能力,他們提供的主要輸出版本已經逐漸使用B/S的模式, 相比之前的Client模式對于使用者接入提供了更好的體驗;對于資料倉庫建構的第一步“資料內建”,Informatica以 PowerCenter 作為資料內建的産品名稱,為面向不同場景的資料內建,則提供了多樣不同的版本:

• PowerCenter 标準版,用于內建和送出及時、相關、可靠的資料;

• PowerCenter 進階版,用于執行複雜的任務關鍵型資料內建方案;

• PowerCenter 大資料版,通過新興的技術和傳統的資料管理基礎設施內建大資料;

• PowerCenter 資料虛拟版,用于送出最新的、全面的、可以信賴的業務視圖;

• PowerCenter 實時版,用于實時內建和預配置營運資料;

• PowerCenter 雲版本,用于無縫地将雲中資料和本地系統上的資料進行內建

這麼多版本不免讓人眼花缭亂。雖然從産品管理的角度來看,是個不錯的拆分方法,但是對于使用者而言,就沒有這麼友善了,讓人有種不良商家使用錨定價格來收智商稅的感覺。PowerCenter的應用架構如下圖:

如何選擇适合你的企業資料管理類産品細數數倉30年發展史傳統數倉産業總結

PowerCenter 的應用元件:

1)服務端元件

• Informatica Service:PowerCenter 服務引擎

• Integration Service :資料抽取、轉換、裝載服務引擎

2)用戶端元件

• Administrator Console: 用于知識庫的建立和維護

• Repository Manager: 知識庫管理,包括安全性管理等

• Designer: 設計開發環境,定義源幾目标資料結構;設計轉換規則,生成ETL映射;

• Workflow Manager: 合理地實作複雜的ETL工作流,基于時間、事件的作業排程;

• Workflow Monitor: 監控workflow和Session運作情況,生成日志和報告

簡單地說就是,開發者通過Designer配置和設計資料的傳輸、轉換和映射關系,通過workflow來首先周期性地排程和管理

傳統數倉産業

數倉産品選型不僅是功能還有服務

從産品所對應的技術支援能力上看,由于是工具類産品,使用過程中的問題是否有完備的産品使用和客服支援很重要,在官方材料中沒有看到過産品的客戶服務支援方案,應該與具體的保障要求有關系,不知道是否會像通常的國外軟體服務,僅能在工作時間電話,一般離線資料任務都是在淩晨時間運作,一旦出現問題,如何快速響應,也是需要在産品采購時關注的。

新時代數字化建設方案

企業資料中台的建構解決方案架構與落地路徑

最後就是傳遞實施了,對于傳統數倉傳遞的團隊,對于Informatica應該不算是陌生的,但是在國内這一類的服務商一直沒有發展起來,原因就是太依賴産品了,Informatica不是中小企業的預算可以承受的,是以比較難以規模化,尤其是在雲計算的沖擊下,消費網際網路發展逐漸開始趨平,産業網際網路開始興起,或許企業中會有更多的資金投入到資料管理的領域,

但是,中國國内企業的現狀而言,估計還是不僅僅采購一個産品這麼簡單,如果産品版本過于複雜,操作需要極強的專業性,那麼也很難規模化;

對于企業而言,不僅僅需要一個有着豐富功能的産品,還有有支撐通過産品去實作商業成功的團隊或者技術支援,是以選擇一個有着完善生态傳遞能力的産品或許是更好的選擇。

2019年雲栖大會上,阿裡雲資料中台推出産品Dataphin,其中有個介紹對于國内企業還是參考意義的,産品具體的介紹如下:

“阿裡雲資料中台,基于阿裡巴巴近十年的大資料建設經驗,沉澱出一整套的資料采集、建設與管理的方法論體系,并産品化為Dataphin産品,形成資料的采、建、管、用 一站式全鍊路服務能力,在中國乃至世界企業數字化轉型中,承載樞紐位置,助力企業實作資料資産化和價值化!”

Dataphin在産品能力在于資料虛拟化上,通過定義一系列的原子的概念,如次元、業務過程、原子名額、業務限定、派生名額,以及模型内的關系,如次元、屬性、關聯關系等等,進而實作資料生産的自動化,進而實作在開發層是面向業務邏輯的開發、在使用層面是面向主題式模型的引用,進而實作了資料的虛拟化能力。

總結

目前,阿裡雲資料中台産品矩陣正在不斷地優化和發展。建議企業在選擇的時候,不要盲目,适合自己的才是好的、對的!

資料中台是企業數智化的新基建,阿裡巴巴認為資料中台是集方法論、工具、組織于一體的,“快”、“準”、“全”、“統”、“通”的智能大資料體系。目前正通過阿裡雲資料中台解決方案對外輸出,包括

零售

金融 網際網路 政務

等領域,其中核心産品有:

官方站點:

資料中台官網

https://dp.alibaba.com
如何選擇适合你的企業資料管理類産品細數數倉30年發展史傳統數倉産業總結