天天看點

數字化轉型趨勢下的資料中台建設之道數字化轉型主要面臨的都是資料問題數字化轉型核心是建立清晰有效的資料戰略大資料咨詢的核心是厘清差距

數字化轉型趨勢下的資料中台建設之道數字化轉型主要面臨的都是資料問題數字化轉型核心是建立清晰有效的資料戰略大資料咨詢的核心是厘清差距

近日,奇點雲副總裁何夕應創業邦BangTalk邀請,首次線上直播分享《資料中台建設之道》,直播間人氣爆棚互動活躍。以下為演講實錄分享(文字根據現場演講錄音整理)。

數字化轉型,其實并不是個新詞。

根據IDC(網際網路資料中心)的報告,自從數字化浪潮開啟以來,企業就開始數字化程序。而據IDC預計,到2020年中國GDP的20%将來自業務數字化轉型的增加值,數字化轉型已上升到宏觀經濟層面,不僅将改變企業營運方式,還将重塑經濟面貌。

我們要如何去定義人工智能的未來?

它影響到我們去怎麼去了解數字化轉型的本質。

過去10年中,雲計算、大資料和人工智能技術的發展,不斷驅動機器智能替代體力和腦力,那些高頻重複的體力和腦力工作,越來越多地被機器智能所取代;而腦力賴以生存的經驗公式(方法論、思維工具等),也越來越多地被算法所代替。

數字化轉型主要面臨的都是資料問題

站在今天的角度,我們或許可以清晰地定義數字化轉型,本質上就是以算力、算法和資料為代表的資訊技術,以數字化的方式驅動社會整體的改變和變革。數字化轉型的未來清楚指向人工智能的發展,進而讓人做人該做的事情,讓機器做機器該做的事情,人類和機器腦力算力協同發展。

數字化轉型趨勢下的資料中台建設之道數字化轉型主要面臨的都是資料問題數字化轉型核心是建立清晰有效的資料戰略大資料咨詢的核心是厘清差距

傳統的資料分析其實是一種刀耕火種的狀态,手工對資料進行提取,手工清洗資料、手工的透視和分析,以及在此基礎上生成一些可視化圖表,在這個過程中,其實隻有透視和分析是人真正應該去做的事情。前面的資料提取、資料清洗,包括後來的資料可視化,其實都可以通過相關的BI工具和一些可視化工具來完成。

《富足》這本書講到,當人類社會的生産資料從供不應求進入供過于求後,很多商業模式和商業邏輯都會發生巨大的變化。

今天我們面臨着一個非常大的變局——資料量的指數級增長。2015年是人類社會資料增長的一個關鍵節點,因為在2015年,其一年産生的資料量是人類過去曆史上産生的資料量的總和。換句話說,人類的資料量自此進入了指數級增長,2015年之後,資料量每年增長40%-50%。然後它會給我們帶來巨大的資料富足的挑戰。這種挑戰我們稱它為日益增長的資料存儲費用和仍然稀缺的資料應用之間的沖突。

這個沖突到底會給我們公司的業務帶來哪些挑戰?需要如何解決?

作為一家已經跨越了資料指數級增長的公司,阿裡巴巴的經曆或許可以給我們啟示。2007年,阿裡巴巴決定未來要成為一家資料公司。2009年,阿裡成立了阿裡雲,正式開啟了去IOE的路程。

從2003年成立以來,淘寶收集了大量的資料,其中90%是非結構化的日志資料,當有了資料之後,所有人都想看見資料背後的真相:使用者從哪來,他們買了什麼,為什麼購買,轉化率如何……類似這樣的分析問題,給阿裡帶來巨大的資料挑戰。

2012年資料平台部的成立,這個被稱為CDO的部門,誕生了一系列資料分析和挖掘工具,包括在雲端、資料魔方、淘寶時光機、淘寶指數、TCIF等等。特别要提一下TCIF(淘寶消費者資料工廠),由現在奇點雲的創始人行在創立,拉通了阿裡巴巴所有的消費者資料,并且完成了3000+标簽體系的建設。2012年的标志性事件,就是TCIF的存儲和計算消耗量超過了BI,以TCIF為代表的人群定向成為了計算資源的消耗大戶;另一個标志性的名額是,阿裡巴巴有50%的伺服器不再處理任何事務,而僅僅用于處理資料。

2015年也有兩個标志性事件:一是阿裡雲數加平台的成立(行在創立),代表阿裡巴巴開始把内部形成的大資料能力外化,賦能社會去建立大資料能力;二是推出千人千面算法,推薦算法一躍成為了存儲和計算資源的頭号消耗大戶。

推薦算法不僅僅是我們看到的淘寶界面那麼簡單,在某種程度上,推薦算法讓阿裡巴巴跨越了「從人指揮機器到機器指揮人的奇點」。

數字化轉型核心是建立清晰有效的資料戰略

為什麼今年資料中台特别火?

我們所有的企業在數字化轉型走到今天,會發現業務問題背後往往可能隐藏的為數衆多的資料問題,如資料不通,資料不可用,資料變現等問題。

數字化轉型趨勢下的資料中台建設之道數字化轉型主要面臨的都是資料問題數字化轉型核心是建立清晰有效的資料戰略大資料咨詢的核心是厘清差距

拿「資料變現」打個比方,在資料進入了乘數級增長或者指數級增長的領域會特别明顯,比如汽車因車聯網的關系,它的整個資料增長量非常快,可能每年都有幾十T的資料增長。而這些資料隻是把它們存了下來,可能我有幾億行的資料,但我連一張大寬表都拉不出來,是以這個情況下它的資料是完全不可用的,是以需要解決資料變現的問題,而資料變現就是日益增長的資料存儲費用和仍然稀缺的資料應用之間的沖突。

很多的企業其實去做了很多算法、資料應用的嘗試,但是因為沒有解決資料采集、資料品質的問題,就會出現例如采集到的資料一半是空值,統計口徑不一緻所帶來的資料總和之差,也有比如說我們的發票資料和銷售資料的總和,它可能相差5%~10%不等,然後在不在某些行業來說,這可能就幾千萬到上億的一個差距。這些業務問題背後其實都不同程度地展現為資料問題。

數字化轉型趨勢下的資料中台建設之道數字化轉型主要面臨的都是資料問題數字化轉型核心是建立清晰有效的資料戰略大資料咨詢的核心是厘清差距

資料資産如何變成業務價值?

講資料中台的時候,我們一定會講,需要和資料中台一起去建立整個企業的資料資産的管理體系,那麼如何去建設?這也是很多企業會碰到的問題。

資料如果僅僅是存下來,它是不能解決我們所說的主要沖突的。那麼資料資産要如何增值?如何變成業務價值?哪些業務是這個領域,哪些業務是我的數字化轉型過程中最核心的業務?它是有業務痛點、業務場景的,包括它可能是一些明星需求能夠帶動整個公司來認知這件事情,提升對資料的認知,這些都是在這個過程中需要去解決的。

大資料咨詢的核心是厘清差距

資料戰略不能僅僅是把它當成一個技術問題,而是要從業務、技術、組織三個次元綜合的來考量我們的整個資料的問題。那麼要如何去考量這件事情?此前一年,為幫助企業推進數字化轉型戰略,解決數字化轉型中的問題,奇點雲推出了大資料咨詢服務,并付諸大量案例實踐。奇點雲也将這些實踐經驗總結提煉成方法論,以白皮書的形式開放給更多商業機構。

而大資料咨詢服務,它的核心的價值也就是厘清差距、明确方向。

數字化轉型趨勢下的資料中台建設之道數字化轉型主要面臨的都是資料問題數字化轉型核心是建立清晰有效的資料戰略大資料咨詢的核心是厘清差距

我們如何去建設整個資料中台?作為我們公司的一個基礎設施,一般把資料中台拆成4個部分來做建設規劃。首先對于我們的資料中台來說,他一定會需要解決的是資料的來源問題,包括對我們的資料進行有效梳理,在此基礎上,我們有專業的團隊來建構一站式大資料智能服務平台DataSimba,通過我們的資料中台去解決整個數字資産管理問題,以及建立整個資産管理體系,整合所有的資料。我們把這個過程稱為資料的工業化生産體系,在這個基礎上,我們會仰賴一些專業的分析師團隊去own,仰賴于算法工程師挖掘資料價值,真正去幫助我們做資料決策,然後去産生業務價值,最終一定是實作通過資料去建立資料決策能力,并面向市場進行一些應用的開拓,進而真正有效的使用,建立内部協同、外部協同,提升整體的經營水準。

具體如何基于明星需求去開展一些業務資料化的規劃和實施呢?從資料的次元,首先要建立ETL資料抽取清洗處理的能力,有專門團隊再進行探索性資料分析形成算法,去賦能整個溝通決策,相當于自動化分析,在此過程中建構資料産品,在現實世界中使用,完成整個閉環動作。

下面介紹我們建立的一套資料資産管理體系的方法論,我們叫它「盤理管用」。

數字化轉型趨勢下的資料中台建設之道數字化轉型主要面臨的都是資料問題數字化轉型核心是建立清晰有效的資料戰略大資料咨詢的核心是厘清差距

從資料用起來的角度,根據業務場景,看資料是否已被收集、治理,是否已變成資料資産價值,是以叫「盤理管用」。但從我們思考的次元則相反,我們要關注怎麼去盤、怎麼去理、怎麼去管,以及最終怎麼去用。

當我們具備了這樣的資料中台能力,具備了這樣的資料資産管理體系,我們就會進入到如何去賦能我們的業務,然後也分享我們在實踐過程中的一些經驗。我們在跟一些企業做咨詢的時候,其實大家慢慢對算法這件事情會産生極大的認同,因為算法代替經驗公式在今天是一個不可阻擋的潮流。那麼對于公司來說,未來的競争的态勢很可能會是每個公司所擁有的算法的數量和品質的競争,公司就需要去沉澱自己的算法平台,去沉澱自己的算法模型,包括在集團管控、研發、制造、營銷、服務、人才,包括共享服務上,都需要有自己的算法模型,去真正的去一方面去提升人效,降低整個成本,另一方面就去沉澱自己的一些實實在在的競争壁壘。

目前線下的傳統企業,很多時候資料問題并不僅僅是資料不通或者資料變現的問題,很多時候還是資料有無的問題。想要具備淘寶一樣的資料化營運能力,那麼它最大的資料來源會是哪裡?從科學的角度來說,線下90%其實都是視圖聲的。而視圖聲資料大家都知道,它一定是非結構化資料,那麼我們就需要去解決這些非結構化資料的采集和結構化的問題。我們如何把「資料原油」轉化為企業所需要的燃料,助推商業引擎?

奇點雲提出了AI+DATA「雲(智能)+端(感覺)」解決方案,幫助更多企業實作數字化轉型,為他們賦能。

數字化轉型趨勢下的資料中台建設之道數字化轉型主要面臨的都是資料問題數字化轉型核心是建立清晰有效的資料戰略大資料咨詢的核心是厘清差距

今天我們更多地還要去建立使用非結構化資料的能力,也就是奇點雲在雲端所提供的全場景智能化的企業轉型服務,圍繞整個資料中台建設AI算法,通過360度資料管家幫助企業更好地掌握企業的資料現狀,及運用大資料咨詢解決發展中的重大資料問題,幫助客戶真正實作資料化企業營運,盤活企業的資料資産,創造更多商業價值。

繼續閱讀