-更多關于數智化轉型、資料中台内容請加入 阿裡雲資料中台交流群—數智俱樂部 和關注官方微信公總号（文末掃描二維碼或 點此加入 ）
-阿裡雲資料中台官網 https://dp.alibaba.com/index
作者：陳曉勇、柯根
阿裡巴巴資料技術編年 簡史
2003年淘寶誕生于杭州一間民居。次年，Google發表了三篇大資料論文将計算技術引入大資料時代。
2004年Doug Cutting和Mike Cafarella根據Google的論文實作了Hadoop的HDFS和MR計算架構。
2006年 Hadoop項目進入Apache社群。
2008年9月Hive成為Hadoop的子項目，之後成為Apache的頂級項目。同年，淘寶開始實施基于Hadoop系統的資料計算平台搬遷-雲梯1。
2009年阿裡雲誕生，阿裡雲開始寫下Maxcompute第一行代碼，中國的各種雲端服務開始湧現。
2014年阿裡巴巴實施登月計劃，完成基于Maxcompute平台的資料平台遷移-雲梯2，彙總全集團的資料業務到一個平台上，完成資料公共層建設，OneData體系和集團的資料中台漸趨成型。
2014年4月Intel投資Cloudera，放棄自主的Hadoop發行版，同年Cloudera進入中國市場。
2017年資料中台産品Dataphin産品問世，同時支援Maxcompute和Hadoop大資料平台，OneData内部的技術體系開始對外實作賦能。
2018年Cloudera和Hortonworks宣布了公司合并，Hadoop發行版從多個廠商競争變成寡頭間遊戲。
2020年基于Dataphin、品牌資料銀行，Quick Audience、Quick Stock資料中台産品的全域營銷推出，阿裡開始通過自有的資料體系賦能商家，資料中台從純技術推廣到業務價值展現。
資料中台理念應運而生時機
傳統的資料處理方式，特别是傳統的數倉平台，其軟硬體采購成本，運維成本、技術門檻等都頗高。隻有銀行、營運商等大型企業才有能力和财力實作資料倉庫和資料集市的平台建設。随着大資料技術和雲上服務的普及，企業的運維成本和技術開發門檻大幅度降低，特别是具有極高成本效益的雲端服務，簡單的部署，近乎無限的可擴充性和輕松的管理，綜合使用成本和便捷性都大大優于傳統資料平台。是以，企業開始将其資料倉庫從傳統的Teradata、Oracle/IBM等平台遷移到大資料平台或雲服務中，時至今日，這一變化還在傳統企業中不斷的上演。
雲計算興起之後，資料庫和彈性計算（ECS）是最為普遍的産品，但随着使用者在雲上業務的資料積累，企業開始對資料分析有了直接的需求。2011年阿裡雲maxcompute大資料平台上線，阿裡雲邁入大資料時代。
随着資料指數級的增長，資料處理的方式和模式發生了質的變化。傳統面向經營管理人員和少部分業務人員的資料支撐方式不再能滿足業務發展的需求。資料開發周期長、反應慢、應用面窄的弊端也越來越突出。企業及政府開始尋求應對市場變化和資料及時響應的方法，同時對資料的采集、開發、使用和管理提出了更高的要求。
企業需要進行數智化轉型，才能更有效地管理資料，更便捷地使用資料。阿裡巴巴資料技術及産品部也認識到了資料處理方式必須有所改變，才能滿足企業對資料開發效率，資料賦能業務産生價值和資料指導企業營運管理的需求，至此資料中台理念孕育而生。它幫助阿裡巴巴集團在之後幾年的激烈競争中脫穎而出，并繼續幫助企業過渡到未來的競争，這場趨勢之戰的背後是商業主導權的競争。
資料中台實質是實作資料價值化與資料資産化
關鍵産品介紹：
Dataphin 是阿裡雲旗下智能資料建構與管理的資料中台建設引擎。旨在基于資料中台實踐中沉澱的核心方法論和技術體系，提供從資料采，建，管，用的全鍊路、一站式的大資料能力，以助力企業打造标準統一、融會貫通、資産化、服務化、閉環自優化的智能資料體系。
Dataphin的核心價值在于規範資料定義，用規範化、标準化的方式生産資料，提高資料開發的效率。
資料中台把面向全員開放資料，支撐業務的資料化營運作為目标。資料中台便捷的資料建構和業務價值視角的設計思路是與傳統資料倉庫的最大的不同。阿裡巴巴通過資料為人人，基層小二才是資料主要使用者的理念，來進行資料加工和開發，讓一線員工有資料可看，有資料支援營運決策，有資料做業務指導。
OneData是基于阿裡巴巴資料技術團隊多年經驗沉澱出來的方法論，核心是資料公共層的建設，Dataphin是方法論固化到産品的一個形态，它幫助阿裡巴巴經濟體在業務轉型的過程中推動業務變革，實作業務價值。企業同樣可利用這些成功經驗和工具來提高資料效率，支援他們的經營和可持續性戰略。
OneData核心是資料公共層的建設。 阿裡巴巴正是通過底層服務和靈活開發的創新來賦能其龐大的客戶群，為客戶提供成熟的方法論和開箱即用的工具，幫助企業實作業務創新。在以創造業務價值為導向的今天，我們看到資料中台能推動企業資料價值利益鍊的傳導。
在阿裡巴巴經濟體内，數百種資料應用服務于淘寶、天貓、優酷、飛豬、支付寶等各個業務部門。經濟體外，生意參謀、品牌資料銀行、全域消費者營運平台Quick Audience等資料應用幫助外部的商家在阿裡巴巴經濟體内實作業務價值。資料及資料工具将越來越多的實作人、貨、場的連接配接和協作。
資料中台概念下，資料資産除了基礎的存儲容量、計算資源外，還需要根據企業的組織架構或開發形态來建構自己資料資産管理平台，用以洞察企業資料健康狀況。在阿裡巴巴企業内部也有資産平台提供資料健康狀态資訊，可為下一财年的系統擴容提供資料依據。Dataphin内置的資料資産管理子產品能夠展現開發者視角下的資料資産基礎狀況。
企業需要進行數智化轉型，才能更有效地管理資料，更便捷地使用資料。阿裡巴巴資料技術及産品部也認識到了資料處理方式必須有所改變，才能滿足企業對資料開發效率，資料賦能業務産生價值和資料指導企業營運管理的需求，至此資料中台理念孕育而生。它幫助阿裡巴巴集團在之後幾年的激烈競争中脫穎而出，并繼續幫助企業過渡到未來的競争。這場趨勢之戰的背後是商業主導權的競争。
資料中台應用現狀
一、通用行業資料中台建設場景
傳統企業對資料中台的期待更多的是在業務營運和管理支撐這兩方面。開箱即用的工具能實作企業高效的資料産出和資料資産的管理。在資料中台建設的場景設計階段，會對傳統企業進行深入的業務調研，抽絲剝繭地提煉業務場景，将使用者最為關心的業務洞察視角通過BI資料分析報表可視化的展現在人們面前，輔佐決策者做出科學判斷。
資料中台的業務場景設計階段衍生出數千個派生名額，這些派生名額具有時間限定細、名額定義清晰無二義性，名額間組合條件多等特征。Dataphin能快速實作資料加工和開發，圖形化設計降低資料中台開發和設計的門檻，并從數倉規劃、資料內建、規範模組化、通用開發IDE、運維排程到資料服務一站式快速達成傳統企業資料模組化和資料開發的目标。
資料中台内彙聚的資料資産就像一座“金礦”，對企業來講，資料中台必須要解決資料如何管理，如何使用的問題。通過中心化的資料資産管理可以友善的對資産使用及其價值進行全面的評估，建構資料應用的全鍊路追蹤體系，對資料成本、業務收益做到清晰、透明、可評估。傳統企業由于業務系統多元、設計獨立等原因導緻形成資料煙囪式開發的局面。通過對資料資産的集中管理可以實作企業全局資料資産狀況全掌握，縱向部門、橫向層級的營運狀況透明呈現，為科學的資料化決策打下堅實的資料基礎。
某傳統企業客戶，他們在全國擁有大量零售商和門店，營銷費用居高不下，由于經營資料都在門店和各個子系統中，總部難以發現原因。通過資料中台的建設，将各個系統資料和門店營銷資料采集後，通過分析消費資料、積分積累和積分消耗資料，發現了異常行為會員，他們在門店的消費集中在晚上10點以後，這段時間恰是門店關門的狀态，疑似羊毛黨的作弊行為所導緻。通過資料中台的資料集中化管理，可對各事業部下屬門店的實際活動銷量進行監督。通過資料中台定制化的“資産可視化門戶”幫助企業對自有資料資産進行有效管理。
作為傳統企業代表某電信營運商、某航空公司經過10多年的資料倉庫建設，已經擁有一套資料分析平台，但傳統的資料倉庫隻側重資料開發，沒有場景設計和資産管理的理念，當有一個新的資料開發任務，往往需要開發人員從貼源資料做層層加工實作，不僅耗時長而且存在定義不清晰的現象。而這些現象可以通過使用Dataphin，引入标準的資料公共模型來解決。
“推進業務和資料中台建設是航空公司今年八場硬仗之一，也是公司智能化轉型過程中的關鍵性變革。過去，需要人工從不同系統采集、在各自電腦上跑幾十小時才能取得的資料，現在幾分鐘就能實作資料從“雲端”上輕松擷取，極大地提升了分析工作的效率和品質。”航空公司資料中台項目負責人表述。
二、零售行業全域資料中台營銷場景
新零售行業有着全新的業态銷售模式，商家通過門店、線上網店、直播平台、品牌App、微信/支付寶小程式等各種管道促銷商品。針對營銷形式多、管道多的特點阿裡巴巴推出了全域營銷解決方案，集合全域資料通過AIPL/RFM資料模型進行深度洞察，通過精準投放，提升營銷效率，實作業務價值。全域營銷解決方案是基于阿裡巴巴生意參謀、品牌資料銀行、資料建構及管理平台Dataphin、全域消費者營運平台Quick Audience等一系列資料産品來實作的。
在全域營銷中最為核心的是幫助使用者找到目标人群，通過人群預測模型和營銷投放為商家帶來業務價值，是以全域營銷預測技術實施的前提是彙聚各個業态/管道産生的資料，并以阿裡巴巴OneData方法論去處理以實作全域的數字營銷，這一領域AI和算法平台的計算能力有直接的場景應用和業務價值展現。通過模型建設和資料輸出使得商家對業務的營運狀況、會員洞察、管道和銷售管理、門店管理等業務資料有全盤的管控。通過資料分析，決策者可以做出業務判斷，也可以通過市場預測（predictive Marketing）模型為全域營銷提供市場預測。
全域營銷解決方案是企業建構資料中台後與阿裡巴巴商業生态合作，取得業務價值的一個重要方式。由企業的資料中台沉澱的價值資料與阿裡巴巴商業生态體系以及其他媒體管道共建數字營銷，并且可回流外部投放的資料，形成全鍊路資料閉環。
飛鶴乳業、良品鋪子、伽藍等新零售企業通過全域資料中台建設，使用Dataphin對天貓店鋪、線下門店、小程式、自有網站等資料進行統一管理，建構統一、标準、高品質的資料，支撐資料決策和全域營銷投放，實作業務價值。正如客戶們所說：
“資料中台能夠解放資料基礎建設，讓我們有更多的精力來思考如何運用資料來解決業務痛點、提升公司效率；那麼在對組織的能力要求方面，我們也能夠更偏向業務分析和架構的能力、資料模型算法能力、創新型應用産品設計和規劃能力的發展。”良品鋪子副總裁周世雄在接受采訪時候如是說道。
伽藍集團大資料中心總經理鐘衛在接受采訪中表述”我們手中有金礦（消費者資料），但缺乏開發的方法。資料中台展現的數字化技術相當于新的生産力，能夠驅動企業通過建立與之相配新生産關系，比如組織更新、生态協同而促進企業經營模式、商業模式上的突破，這種突破所帶來的改變是DNA級别的”。
資料中台未來趨勢展望
一、資料中台的實時計算趨勢
資料處理向準實時、實時趨勢方向發展。傳統的數倉設計限于技術體系無法實作實時計算。而采用分布式大資料技術不僅能實作建構PB級别的資料中台（曆史上把這類計算場景叫資料倉庫）而且還能将實時計算與曆史資料結合，實作流批一體開發。滿足新一代資料中台強調的資料時效性和分析能力。
阿裡巴巴采用Blink(Flink開源版本)實時計算架構實作流批一體，Blink具有複雜事件處理能力（Complex Event Process），還能為不同需求和能力的開發者提供SQL/Table、實時流批資料處理、狀态事件驅動應用API等多種特性，應對不同資料開發的需求。
資料中台的實時計算技術并不是對原有的業務流程進行再造，而是通過實時資料流與資料倉庫名額結合的方式來實作更高效的業務分析。利用實時技術可以快速進行BI分析和業務預警，如實時營銷政策、實時風控政策、實時反欺詐。這些場景都可以嵌入到實際的業務系統中。
阿裡巴巴的新零售業務、 雙11購物狂歡節也運用流批一體，對營銷過程實時監控。
Dataphin産品在2018年開始就流批一體投入研發，在2019年底内部流計算産品成功遷移到Dataphin産品上。2020年Dataphin 釋出v2.7版本，開始支援阿裡雲實時計算産品Flink，與阿裡雲大資料計算服務Maxcompute結合，通過流批一體技術滿足資料及時性需求。使用者可以通過Dataphin産品實作營銷效果的實時回報并與曆史資料放在同一次元分析和比較，給業務人員提供即時精準的資料用以實時決策。
二、資料中台上層應用的移動終端化趨勢
BI洞察分析是資料中台資料呈現的最重要的方式，現階段絕大部分的BI呈現都是PC端為主，手機端為輔。網際網路由PC端向移動終端發展的一個必然趨勢是資料資料應用也随之移動終端化。這幾年，在數字化分析領域，多個BI廠商都釋出了移動終端展現的配套産品，但并未在市場上大規模普及，究其原因既有螢幕尺寸難統一等客觀問題，又有移動終端閱聽人場景個性化程度高的情況，是以資料中台的應用移動終端化必須适應終端的要求。
在數字BI領域，其終端化必定要考慮端上适配，更多的以數字名額看闆的方式呈現，而不是像PC端一樣去突出豐富的呈現效果及曆史名額。其次是終端App與實時計算相結合，強調實時資料的分析能力，呈現的内容要具有時效性，更多的應用在業務流量、實時訂單與曆史訂單分析及預測的場景中。
現有的移動終端化難點除了需要在iOS和Android兩個系統上做App開發外，還面臨多個端呈現問題，釘釘微應用和微信小程式已是企業除App外在資料BI終端化中的其他選擇，但從技術層面上來說，純H5頁面開發面臨下載下傳資料量大，使用體驗不佳，不能實作離線資料保持和浏覽等問題，是以大多數移動終端應用依舊采用App方式實作。
由于終端App的開發和運維成本高，PV/UV營運效率問題，是以什麼樣的資料和應用模式才能提高資料使用者的使用頻率是擺在企業管理者和産品經理面前一個現實問題。資料中台大部分的分析資料是T+1的分析名額，對企業管理者有很重要的借鑒作用，但沒有小時和分鐘級别的使用頻率，是以App上呈現的資料應該以企業業務及營銷活動資料為主，特别是多端的埋點采集資料、PV/UV資料，再結合資料曆史分析比較能更好的展現App BI的業務價值。
**
三、資料中台的智能化發展趨勢**
AI技術最為重要的價值是能為現實場景所用，比如人臉識别的一個典型應用場景是替代密碼實作手機登入。建構資料中台之後，企業使用者可積累豐富的名額資料，這些資料都是算法和AI依賴的基礎。資料中台使用者比較普遍的AI應用場景是銷量或流量預測，千人千面的推薦算法，營銷活動的預測等。這些都是對業務決策提供直接輔助的場景。
受到激烈的市場競争壓力，企業都期望AI計算能在短時間内幫助實作銷量增長或成本下降的效果。其實通過AI算法為一線員工提供資料的便利性使用也是提高生産效率的一大途徑。阿裡巴巴内部有這樣一款資料産品，員工可以向它模糊提問，産品直接回複員工使用者所關心的名額資料，降低了資料查詢的門檻，友善一線員工的使用。
“人法地，地法天，天法道，道法自然”, 法是制約、管控，人以地為行為規範，地以天為規範，天以道為規範，道以自然為規範。企業亦之，企業的營運依賴資料支撐，資料支撐依賴系統、系統依賴于資料中台，資料中台遵循資料處理的方法論和多端的呈現，是以資料處理的處理是資料中台成功落地的一大關鍵所在。
資料中台是企業數智化的必經之路，阿裡巴巴認為資料中台是集方法論、工具、組織于一體的，“快”、“準”、“全”、“統”、“通”的智能大資料體系。
目前正通過阿裡雲對外輸出系列解決方案，包括
通用資料中台解決方案、
零售資料中台解決方案 金融資料中台解決方案 網際網路資料中台解決方案 政務資料中台解決方案等細分場景。
其中阿裡雲資料中台産品矩陣是以Dataphin為基座，以Quick系列為業務場景化切入，包括：
- - Dataphin，一站式、智能化的資料建構及管理平台 ；
- - Quick BI，随時随地 智能決策
- - Quick Audience，全方位洞察、全域營銷、智能增長
- - Quick A+， 跨多端全域應用體驗分析及洞察的一站式資料化營運平台
- - Quick Stock， 智能貨品營運平台
- - Quick Decision，智能決策平台
官方站點：
資料中台官網
https://dp.alibaba.com釘釘溝通群和微信公衆号
![筆試面試題目：滑動視窗(二)[圖]](data:image/gif;base64,R0lGODlhAQABAIAAAP///wAAACwAAAAAAQABAAACAkQBADs=)