天天看點

為什麼說阿裡巴巴本身是雲上資料中台的最佳實踐

作者:品鑒 [ 更多内容詳見資料中台官網

https://dp.alibaba.com

]

資料中台門在阿裡巴巴集團幹什麼的,由哪個部門掌管?資料中台在阿裡巴巴的主要作用是什麼呢?外面吹噓這麼神秘的資料中台在阿裡實踐的如何呢?今天小編正好要采訪資料技術及産品部門裡面一個老大,帶大家來一探究竟。

剛一開頭,老大就陷入沉思,沉重的說:“資料技術及産品部門在阿裡巴巴集團其實已走過16個年頭,掌管着全集團的資料資産,那麼多年的積累,幫助阿裡建立起了一套完整的資料體系,對業務有全面的支撐。”整個資料中台從基礎設施,基礎資料技術起步,到資料資産管理;從内部的資料挖掘到體系規範、标準、流程和體系制定;外部産出從資料可視化技術到資料應用,使得内部的小二從方方面面都感受到資料中台的真實存在。

資料技術及産品部門曆史

說到資料中台不能不說阿裡的底層基礎架構的紮實程度,資料中台基于阿裡雲的基礎設施,使用了Maxcompute大資料平台、Analysis database、HBase、ECS等基礎元件,基于這些基礎元件之上,資料技術及産品部門的智慧工程師們開發了資料資産,它管理着全域大資料,統一的資料建設、管理、服務,服務阿裡外部千萬使用者和内部業務給全集團小二們友善使用全集團的資料,當然這些都有嚴格的安全和權限管理哦,隻有有需要的小二才可以看到和使用哦!

資料技術及産品部門彙集了各種資料,是以資料官們開發了各種各樣的資料技術幫助業務部門實作快速而準确的資料,大家耳熟能詳的oneID技術、反作弊技術、牛逼的雙十一實時計算大屏技術等都是資料技術及産品部門小二們開發的哦,非常贊的科技!這些牛逼的技術幫助阿裡實作了各種場景的對外和對内的資料應用,資料挖掘技術産出幫助阿裡小二們更好的對業務作出判斷,實作更好的營銷,對外賦能生意參謀産品,使得商家對天貓和淘寶小店的業主們了解自己的生意,生意參謀通過生意背後一盤資料的資料産品服務。基于全管道資料融合、全鍊路資料産品內建,為商家提供資料披露、分析、診斷、建議、優化、預測等一站式資料産品服務。目前,生意參謀服務的商家已經超過2000萬,月服務商家超過600萬;在月成交額30萬元以上的商家中,逾90%在使用生意參謀,這可是一個非常高的比例喔!

為什麼說阿裡巴巴本身是雲上資料中台的最佳實踐

生意參謀截圖

得益于阿裡巴巴生态和業務體系,阿裡資料沉澱了包括電商交易、搜尋、物流、支付、廣告、風控、移動、視訊等種類多樣的高品質資料,是以産生了各種資料應用為不同的部門和外部客戶提供各種資料服務,采訪上司講,這些應用實在太多了,有為公司高管決策服務的資料挖掘分析産品;有為品牌廠商提供人群分析的品牌銀行資料服務;有為集團服務的OneID查詢,通過算法和深度挖掘實作的人群畫像服務;為其他部門Web或App端開發規範和資料采集的資料埋點和采集系統;甚至還有為阿裡雲的使用者實作靈活報表開發的QuickBI産品…,哎呀呀,什麼生意參謀、quickBI,Dataphin、FBI、可視化埋點、品牌銀行、企業參謀,資料品質,資料資産…巴拉巴拉幾十個名字,一大串資料産品名字,小編快記不過來,臨了上司還提醒小編要保密哦。不過最後小編看到一個叫阿裡資料的産品,印象深刻,這可真是一個寶貝,讓小編有”一機在手,全盤掌握”的感覺。

很多人都以為資料技術及産品部門是一個ETL或資料處理部門,其實資料技術及産品部門大部分人都是碼農哦,他們用最新的技術打造最好用的資料,大家都知道開源的流處理Flink吧,它是流處理技術的後期之秀哦,現在看幾乎已經要打敗sparkstreaming,storm等前輩,之是以被碼農們普遍接受,很重要一點就是阿裡的工程師在flink上實作了SQL程式設計,貢獻給社群,讓流計算開發變得簡單、易用。這些阿裡貢獻給社群的還有很多,比如DataX,Hadoop等,另一塊大家看的眼饞的是資料可視化技術、阿裡利用最新的Web端技術、2D、3D的自由發揮,大規模的資料量繪制,借助圖形化手段,清晰有效的出阿達資料意義,這塊在阿裡雙十一零點那刻發揮的淋漓盡緻。

為什麼說阿裡巴巴本身是雲上資料中台的最佳實踐

雙11全球狂歡節資料屏

資料技術及産品部門不僅資料應用和資料産品做得好,阿裡還非常重視體系,組織和标準化的建設,你要知道阿裡巴巴是一個10萬人的大經濟體,阿裡的資料服務涵蓋所有部門,是以标準、資料規範、采、建、管、控、用的流程非常重要,需要有一個體系,一整套标準來保障阿裡資料運作和業務發展,這套标準體系可是阿裡的寶貝,不輕易對外的。

資料技術及産品部門除了産品做的好、資料品質高外,也不是一個封閉固步自封的小團體,他還非常重視資料生态圈建設,以開放、分享、賦能為己任,以開放、分享的心态,将阿裡在大資料上沉澱多年的經驗和能力,賦予阿裡外部千萬使用者和内部業務,幫助商家、中小創業者、傳統企業等共同發展、繁榮,與很多院校建立了聯系,部分成果開源社群,讓大家來分享大家的成功,如果大家想也建設一套資料中台,可以看一下Dataphin、QuickBI、企業參謀、可視化埋點采集系統,這些都是資料技術及産品部門通過阿裡雲輸出的标準産品,海底撈,飛鶴、南方航空、大潤發等一大波企業已經在用了哦!

除了基礎、技術、産品、資料、标準外,資料技術及産品部門形成一套資料中台方法論體系,OneData資料中台是其中一個高度概括,它解決了IT部門資料開發的高人力成本、資料錯誤、浪費資源、雜亂無章、效率低下等這些經常出現的問題,OneData都能輕松解決,說到這裡,小編覺得其實外面說的大資料平台落地難,實施難其實最缺乏的就是阿裡的OneData資料中台啊!

總之,資料技術及産品部門依托于豐富的資料資産和強大的技術能力和對資料分析、挖掘能力,充分應用到實際業務中。通過算法,深度挖掘人群畫像等,并沉澱出一系列優質資料,為阿裡的業務創新應用提供資料決策基礎和依據。為阿裡發揮大資料的價值奠定堅實基礎。

結尾: [ 更多内容詳見資料中台官網

阿裡巴巴資料中台團隊,緻力于輸出阿裡雲資料智能的最佳實踐,助力每個企業建設自己的資料中台,進而共同實作新時代下的智能商業!

阿裡巴巴資料中台解決方案,核心産品:

· Dataphin,以阿裡巴巴大資料核心方法論OneData為核心驅動,提供一站式資料建構與管理能力;

· Quick BI,集阿裡巴巴資料分析經驗沉澱,提供一站式資料分析與展現能力;

· Quick Audience,集阿裡巴巴消費者洞察及營銷經驗,提供一站式人群圈選、洞察及營銷投放能力,連接配接阿裡巴巴商業,實作使用者增長。

歡迎志同道合者一起成長!

繼續閱讀