天天看點

資料中台的五個關鍵要素

資料中台的五要素是資料、業務、算法、應用群組織,這五要素是做好資料中台的基本要求,也是幫助企業合理運用數字化平台的重點。

01

   數   據   

伴随移動網際網路的發展,資料量呈爆發式增長,不同規模、不同類型的企業都面臨資料品質問題。多變的使用者需求和商業場景也增加了資料的複雜性。企業在使用資料的過程中,很多時候需要從外部管道采集資料,但這些資料的來源和結構的可靠性無法得到保證。資料信任危機已是企業面臨的共性問題。企業在數字化轉型過程中,必須采取一定的措施來解資料品質問題,以保證使用資料的結果。當企業的業務結果受到低品質的資料影響時,可采取一定的措施治理資料,改善資料品質。

1.1

建構資料資産管理體系

CDO是企業資料資産管理的推動者,對資料治理、提高資料品質負有重大責任。是以,CDO需要帶領資料治理團隊,采取一定的政策和措施,實作資料跨部門共享、統一資料定義,使公司内外部可流暢使用資料。

01  梳理資料來源

資料有四大來源,即IT系統資料、外部系統資料、網際網路補錄資料及資料融合,下面分别進行詳細介紹。

  • IT系統資料

    這裡的IT系統是指企業内部的資訊化管理系統。企業數字化轉型需要将内部多個IT系統内的資料進行打通和梳理。

  • 外部系統資料

    外部系統資料是指企業的供應商、合作商、內建商等合作夥伴的資料。彙集這些資料可以幫助企業形成全域資料中心,以全景資料的角度考量整個企業的營運、管理情況。

  • 網際網路補錄資料

    如果企業的内外部系統無法完全滿足業務需要,可以進行補錄網絡上公開的資料,行業内常稱其為“填資料”。比如針對某個産品使用屬性進行标注,以一定的合法技術手段擷取網絡公開資料,豐富使用者資料。

  • 資料融合

    以合法、合理的方式與其他資料供應商合作,或者通過各種合法合規的資料市場進行資料融合。從營運商資料到線上店鋪資料,再到工商資料,任何組織都可以通過合法合規的管道獲得資料。

02  建立資料管理條例

數字化轉型企業都應該建立一套資料驅動業務的條例用,詳細規定資料出處、資料使用對象、資料審批流程、資料應用方等,以便有效管理資料,讓企業達到資料賦能業務的目的。

03  打造資料目錄,管理資料資産

資料目錄可幫助不同部門共享資料。在維護資料目錄時,CDO等資料治理團隊負責人可建立業務便捷使用機制,評估上遊資料的治理情況,記錄下遊資料分析應用的使用情況,同時跟蹤資料在不同産品方面的流轉。打造資料目錄可以幫助資料管理團隊更好地識别潛在的資料品質問題。

04  建設合規資料

企業應分門别類地對資料進行存儲管理,如主資料管理、遺留資料整理,從不同類别的資料中提取共同特性,比如保障資料隐私、出具資料定義、監管資料資源。同時,資料來源是多樣的,意味着資料的使用面臨着風險。如果資料管理不善,在使用資料的過程中會面臨違反合約、侵犯隐私等風險。企業業務線越複雜,需要考量的資料安全使用問題就越多。是以,對數字化轉型企業來說,有必要設立資料風險控制職位甚至部門,對資料丢失、資料隐私保護、企業資料聲譽等環節加以管理。

05  建立資料管理委員會

建立資料管理委員會表明企業重視資料資産管理。資料管理委員會的任務是建立資料資産管理體系,以一套規範性的體系來監督、管理資料資産的應用情況,即監控資料賦能業務的程序、價值等,進而為企業數字化轉型提供有針對性的建議。

不論是IT部門的技術專家還是業務部門的主力,都比較關注資料價值,資料管理委員會應聯合這些對挖掘資料價值感興趣的人共同進行資料管理,賦能一線生産。

06  出台資料資産管理辦法

企業資料多樣,也是公司的重要資産,數字化轉型企業需要運用一定的資料管理辦法加以管理。

1.2

建設資料品質體系

在資料智能運用的道路上,資料煙囪、資訊孤島遍布。由于頂層設計的缺失及曆史原因,企業的各個業務系統、管理系統等的資料壁壘問題嚴重。另外,由于所用技術不同、開發團隊水準不一、開發平台和工具不統一、缺乏規範的資料管理标準,各個系統間的資料難以相容及內建。資料無法共享,造成一定的資料存儲成本及資料管理成本的浪費。

此外,在“建治用”的主流資料治理思路下,資料治理僅僅關注資料事實及資料邏輯,隻是為了完成治理的目标而進行資料治理,沒有形成資料閉環,也沒有形成共享模式,資料治理結果不能幫助業務部門達成業務成果,無法為業務部門挖掘更多商機。在一些企業中,資料治理工作依靠人工完成,具備一定技術實力的研發人員将大部分精力放在人工梳理資料上,這一方面造成人力資源及時間的浪費,另一方面容易産生人工疏漏,無法保證資料正确,極易導緻資料信任危機。

是以,對于數字化轉型企業來說,追溯資料來源、統一資料定義、分類資料存儲、消除無效資料,可以降低資料管理成本,規避資料應用的法律風險,降低産品維護及開發成本。

那麼應該如何正确治理資料呢?

01  整理業務規則,統一資料定義

在企業數字化轉型過程中,對資料的共同了解與解釋至關重要。資料品質問題通常是指同一資料集被解釋為不同僚物,或者不同資料集被解釋為相同僚物。無論是業務還是技術中繼資料,根據業務屬性明确資料定義對于提高資料品質相當重要。企業可令資料治理團隊運用一定的資料管理應用程式完成業務規則的梳理和資料定義的統一。

02  跟蹤外部資料來源

面對競争激烈的市場環境,企業資料應用的方向不再局限于内部資料,更多着眼于第三方資料,這成為構成分析解決方案的要素之一。無論是合作夥伴資料、供應商資料還是網際網路開放資料,都可以提升企業擷取新業務價值的資源。然而,依靠傳統的資料治理方式并不能追溯資料的真實情況。即使能夠确定資料品質,也不能保證資料源頭是固定的。是以,資料治理團隊有必要建立一個可行的模式,以保證外部資料的正确性。

03  确認影響業務的關鍵資料名額

在商業場景中,業務需求、業務流程、業務績效等是關鍵資料名額。為了衡量一款産品及服務是否能夠滿足市場需求,必須采用一定的企業績效名額。不完整、不準确的資料可能導緻客戶投訴,是以客戶流失率、KPI等資料名額的梳理及确定至關重要。

04  分析關鍵業務的資料品質

在确定了企業内部影響業務的關鍵資料名額後,資料治理團隊還需要了解企業内支援關鍵業務流程的系統及程式的資料品質。在梳理過程中,資料治理團隊可以采用資料分析工具預測資料分析模型,在較短時間内了解資料品質。也可以建立針對資料存儲庫運作的腳本,解決進階别的跨應用資料分析需求。

05  建立資料自動化管理調控體系

在數字經濟時代,衆多企業紛紛舉起數字化轉型的大旗,但大多數企業的資料體系都無法幫其實作數字化轉型。資料治理團隊應建立自動化管理體系,把關資料治理到資料應用的整個流程,在績效考核、分析決策、基礎資料品質之間建立明确的自動化回報機制,以業務結果回報資料治理效果。

06  檢測資料品質對業務的影響程度

憑借專業的資料品質分析工具,資料治理團隊能夠測試資料品質,識别異常資料,以便開展有針對性的資料處理工作。通過業務影響程度測量資料品質,可以幫助企業有效篩查無價值資料,提高資料品質。

另外,資料品質的檢測應該是長期存在于資料應用過程中的。一旦企業決定進行數字化轉型,就必須定期評估資料品質對業務結果的影響,并且随着新業務場景的出現,對資料品質評估的重點和方法作出相應調整。

07  聽取、溝通業務需求,有針對性地治理資料

資料治理團隊在對資料進行清洗治理時,首先不要妄圖通過資料治理立即解決所有問題,而是應該認真聽取業務部門對資料的需求,通過有效溝通,确定行動計劃,探索資料内部潛在的問題,為分析決策提供支撐。

08  建立資料品質動态感覺台,監控資料治理程序

資料治理團隊一般會通過定期會議或者小組讨論等形式同步各自的資料處理進度。但是定期的會議彙報無法随時了解資料治理程序,是以資料治理團隊可以建立資料品質動态感覺台。資料品質動态感覺台可以根據KPI和關鍵業務操作流程制定資料品質的績效。在某些需要調整的地方,資料業務分析師可以與CDO溝通調整治理路線和重點。

成熟的資料業務分析師可以幫助企業進行資料管理,積極監控、提高資料品質。資料品質動态感覺台可以幫助企業管理資料風險,創造更多降低營運成本的機會。

09  建立學習—分享—教育訓練機制

資料治理團隊中各成員分工不同,所處理的資料子產品也不相同,每個人遇到的資料品質問題都不同,而個人解決起來困難重重。是以團隊負責人需要建立一套學習—分享—教育訓練機制,團隊成員可以将發現的資料問題及時共享給團隊其他成員,一起讨論資料治理的解決措施,幫助團隊成員提升自身能力。

10  避免“IT怪圈”

資料治理團隊如果沒有完全打通企業的内外部資料,業務部門的需求便不能随時得到滿足,資料治理團隊就會進入IT怪圈。首先,前端業務場景不斷變化,業務部門需要随時響應。期間,業務部門會不斷向技術部門提出各種工作需求,即使有些業務需求簡單到并不需要技術人員操作,隻須簡化資料治理的流程或步驟即可,但由于資料治理得不徹底,技術部門不得不随時響應低端需求。

業務場景是瞬息萬變的,使用者的需求需要随時被滿足,技術部門疲于應付前端業務部門低端的需求,導緻業務需求響應慢,結果并不令人滿意,甚至延誤了商機。如此循環下去,技術部門将陷入IT怪圈,無法抽身。

02

   業   務   

對于業務來說,一切不能驅動業務發展的技術投入都是浪費資源。業務覆寫企業各個部門、不同角色、不同業務場景。由于前端使用者的需求多變,業務也在發生改變。

數字化業務是通過數字技術颠覆、重塑整個商業體系,進而創造新的業務形式,即智能商業。智能商業以看得見的數字技術為企業提供便捷、智慧的運作流程和賦能價值。支撐智能商業的數字技術,譬如資料中台,是以企業看不見的形式為其服務的。這些看得見的能力與看不見的技術共同構成了企業數字化轉型的基石,如圖所示。

資料中台的五個關鍵要素

能夠促進經濟活動産生效益的技術投入必然能夠驅動不同業務場景的運轉。在數字經濟時代,智能商業的技術投入主要是資料中台。

作為企業數字化轉型的關鍵技術,資料中台可以通過對網際網路使用者、物聯網裝置、企業業務邏輯、業務單元等商業要素進行重構,提高整個數字化業務的效率,達到企業創收的目的。

01  強化數字化業務邏輯能力

企業具備清晰的數字化商業業務邏輯,可以大大提高資料資訊的應用效果,而這也是技術進步的主要來源。企業使用數字技術開展标準化、自動化的業務流程,使應用數字化業務的過程更有效率,但這離不開商業業務邏輯能力的配合與加持。在數字化轉型過程中,企業應該培養團隊的數字化業務邏輯能力,促使團隊積極地将這一能力運用到業務創新和産品研發中去。

02  确立數字化業務單元

2020年,除了金融能力、行政能力等正常技能外,企業領袖還應具備數字上司能力。在企業領袖的帶領下,數字技術架構師建立數字化的業務單元架構,提高企業的數字業務能力。

03

   算   法   

在數字商業環境中,算法業務對于數字經濟的增長至關重要,但是對于企業上司者來說,将算法應用于商業業務仍然有難度。如今,以算法推動業務智能化成為一種趨勢,随着這種趨勢的發展,算法業務将迎來更高水準的決策自動化,各企業開始高度重視算法的開發和應用。

在未來10年,全球超過一半的大型企業将會用先進的分析和專有的算法提高競争力。對企業來說,了解算法在組織架構中的價值、制定配套的工作流程體系是非常關鍵的。

01  了解算法的分類

建設資料中台需要根據行業的不同特點建構應用算法。常用的算法大緻可以分為三類:資料統計、資料挖掘和人工智能。資料統計包含常用的統計學算法;資料挖掘對資料進行關聯分析,常用的有聚類分析、相關性分析等;人工智能的核心是機器學習。人工智能包含統計學、機率論、基本資料挖掘算法等基礎内容,通過重新組織不斷改善自身的性能。

02  算法在組織架構中的彙報關系

算法模型應服務于業務,而不是服務于技術。通常在組織架構裡會出現以下4種彙報關系。

  • 負責算法的人直接由CDO管理。
  • 一些公司可能會設立首席分析官、首席算法官或首席科學家這類職位,讓其帶領團隊研究各種算法。
  • 算法團隊向IT部門彙報算法模型。
  • 算法團隊向營運部門、營銷業務部門彙報算法模型。以上彙報關系都不能達到算法應用的預期效果,所有的算法資訊應該向業務部門彙報,而不是向傳統的IT部門彙報。算法團隊可以與業務部門合作,研究使用哪些算法來驅動公司發展。同時,算法團隊需要對現有的算法進行編目,确定現有算法如何工作。

03  制定一套完整的工作流程

企業要制定一套關于算法的完整工作流程。

  • 算法團隊應該将人員、流程、資料、技術整合成一個可以協同、有效合作的單元,以便将算法應用在不同的業務上。
  • 算法相當于一種無形資産,要形成有效的算法模型管理架構,同時要編制算法目錄,盤點現有的算法、外部開源的算法及第三方供應的算法。
  • 要形成獨有的算法去管理算法市場,對未來要開發的算法進行優先級排序,根據排序配置人員和外部資源,并提前做好預算,占領算法市場的先機。

04

   應   用   

企業要針對不同的客戶定制專屬的資料應用系統,簡稱資料雷達。資料雷達不僅可以幫助企業快速作出決策,還可以提高工作效率、降低經營成本。企業在深入推進數字化轉型的過程中,會建構多種多樣的應用。

4.1

數字化應用的作用

不同種類的數字化應用可以幫助企業解決各種問題。

01  指導企業進行決策

數字化應用系統含有多種應用,有些應用可以幫助企業記錄和提取資料,對資料進行分析;有些應用可在使用者資料的數量和品質都達到一定程度時進行深度挖掘,企業可以利用這些實時的資料分析與挖掘應用産生的結果進行快速決策。

02  為企業提供更多銷售機會

數字化應用系統能夠實時地為企業提供所需的資訊,企業可以從不同次元清晰地了解使用者細節,将這些結果通過不同的形式展現出來,發現更多銷售機會、挖掘更多潛在客戶。數智化應用系統不僅可以幫助企業制定使用者關系管理方案,還可以幫助企業維護客戶關系,滿足客戶個性化需求,在不斷提高使用者滿意度和銷售業績的同時,将使用者資源牢牢掌控在自己手中。

03  提高企業管理效率

企業的數字化管理其實就是借助計算機和網絡技術、運用數字化手段實作管理。一方面,數字化應用系統是把先進的管理思想落實到實際的應用中,幫助企業更加快速、準确地做出決策,提高企業管理效率,避免因決策時間長、決策困難而延誤商機。另一方面,企業可以通過數字化應用系統有效管理自身發展過程中的多項資料,提升資料真實性,加快資料與資訊的交流和傳遞,對不同業務進行資料化處理,實作高效的數字化管理。

04  降低企業經營成本

創新的數字化應用系統可以幫助企業降低經營成本。企業通過數字化應用系統對市場進行分析,根據市場動向調整發展戰略和目标,避免在對市場需求不夠了解的情況下盲目發展。

企業通過數字化應用系統可以分析客戶的購買意向、購買行為、購買頻率及可能接受的購買金額,據此将客戶進行細分,有針對性地進行産品銷售。

數字化應用系統可以對産品相關的資料進行分析,幫助企業了解市場對該産品的需求度,确定産品的研發方向,進而節約開發成本。

4.2

建構數字化應用系統

目前,市面上的數字化應用系統很多,不同行業、不同規模的企業的需求各不相同。如果建構的應用不能滿足企業需求,不僅無法發揮作用,反而可能給企業帶來不必要的麻煩。是以,企業要結合自身的發展方向、戰略目标、企業規模、人員結構、行業特點、産品特性建構适用于自身的數字化應用系統。

01  結合六圖法建構企業的數字化應用

企業在建構數字化應用系統時可以結合本書六圖法理論,從戰略、業務、需求、應用、算法、資料6個角度進行衡量和評估。可以說,六圖法便是企業數字化應用系統的建構過程。

02  形成低成本、高效率的應用建構狀态

許多企業不敢建構應用系統是因為每個應用的産生成本太高。企業在建構數字化應用系統時要通過資料中台等技術手段,建立應用開發制度,讓應用開發流程更加簡化、流暢、便捷,節約開發成本。

03  形成完整的數字化應用體系

數字化應用體系可以幫助企業解決問題。很多企業的應用都存在一定問題。有些企業可能投入了大量資金,但研發的應用卻發揮不了價值。這是由于企業沒有形成良好的數字化應用體系,沒有加強各個應用之間的聯系,企業隻是分散地、随機地研發應用。這不僅造成每個應用的資料孤島,還使得共性功能不可複用,浪費後期維護成本。是以,企業需要結合自身的經驗形成完整的數字化應用體系,加強各個應用之間的聯系,進而幫助企業快速高效地生産應用,賦能前端業務。

總而言之,企業在建構數字化應用系統時,不僅要參考六圖法,還要形成可低成本、高效率地産生數字化應用的狀态,并将各個應用系統之間的資料打通,形成完整的數字化應用體系,進而持續為企業數字化轉型提供動力。

05

   組   織   

依托數字技術全面提升靈活性、決策力、員工參與度、創造力及自主性,是企業數字化轉型的迫切需求。數字商業時代要求的互動、創新等主題讓企業不得不從上到下、從管理層到基層組織都建立相比對的組織架構及人員配置設定。是以,強調使用者響應度及組織成員專業能力的靈活組織以及數字化專業人才,成為數字化轉型企業的标配。

5.1

解鎖靈活組織建設方式

傳統組織與靈活組織各有優勢,傳統的自上而下的組織結構有利于資訊及資源一緻下達與徹底執行,而新型的以任務為目标的靈活組織則更強調響應度及成員的專業能力,但靈活組織能力的建構無法一次成型。企業想要組織具備資料分析和智能決策能力,需要采用不同的方式來達成。

01  資料分析部門轉變為跨職能部門

傳統企業的組織架構由資料部門、IT部門與業務部門構成,每個部門根據部門定義開展工作,上下級員工、部門與部門之間的角色定位主要是指揮與控制。在數字化轉型背景下,作為企業數字化的主要實作者,由資料科學家、資料模組化師、資料分析師構成的資料分析部門将由獨立部門轉變為具備各種技能的跨職能部門。由此賦予每個團隊專業的資料專家能力,令團隊成員能根據任務規劃,靈活應對執行過程中出現的問題,及時做出響應,協作完成任務。

傳統的組織模式依賴資料科學家、資料模組化師和業務分析師等不同崗位的資料技術處理人員完成特定項目。一個項目從發起到傳遞,需要多名資料技術專業人才完成各環節的工作。在主張為客戶提供個性化分析解決方案的數字時代,這種流程煩瑣、項目周期長的工作模式将被淘汰。

靈活組織下的工作模式強調組織成員共同建立分析内容,跨職能團隊可以身兼多種角色,但資料內建能力、資料分析能力和業務領域知識是團隊成員都必須具備的。這種跨職能的靈活組織既能分散,又能集中,有利于資源共享。同時,靈活組織可針對相關需求,更快地完成項目疊代更新,及時滿足前端使用者多變的分析需求。

02  組織成員需具備業務與資料的雙重能力

靈活組織打破了傳統組織模式下各崗位各司其職,對其他崗位職責知之甚少的狀況。不同于傳統組織成員工作職能固化,靈活組織成員的工作職能具備一定的交叉性。這對于資料分析人員和前端業務人員來說尤為明顯。

資料分析師一般分為業務和技術兩個方向,二者的工作内容不同。

業務類資料分析師一般分布在市場部、銷售部、營運部,其工作内容是根據資料報表編寫總結報告、規劃方案。

技術類資料分析師一般隸屬于IT部門、資料部門,根據工作環節可分為算法工程師、可視化工程師等。

資料分析師的工作内容各自獨立,技術類資料分析師不懂業務,而業務類資料分析師不懂技術。

在移動網際網路時代,前端業務場景不斷變化,意味着資料來源複雜、加工環節煩瑣、計算方式不斷更新。對于業務類資料分析師來說,首先要面對技術盲點,業務需求的業務邏輯決定着資料分析的次元及字段,不同的資料名額要對應不同的業務字段;對于技術類資料分析師來說,因對業務根源缺乏了解,會面臨資料品質無法保證、關鍵字段無法彌合、業務分析需求無法實作等問題。

隻懂營銷、不懂資料技術的業務類資料分析師,和隻懂技術、不懂業務分析原理的技術類資料分析師,在靈活組織模式下,均可以通過組織教育訓練、項目經驗的積累完成角色互換與交融,真正獲得“資料科學家”的能力。

03  建構具備描述、診斷、預測、預警能力的組織體系

靈活組織特有的靈活性并不意味着組織内部工作會無序、失控,靈活組織在有效建立各部門的連接配接與互動能力的基礎上,還需要建立一套利于數字化任務快速、有效完成的體系。這便是具備任務描述、診斷、預測、預警的組織體系,可幫助企業在數字化任務實施過程中更為有序、高效、精準。

在需求描述階段,項目負責人應該十厘清晰任務要達成的目标,設定任務完成過程中各個階段需要達到的效果,在實施過程中随時監控完成情況。假如在某個階段任務完成的名額是95%,而按時傳遞的實際完成值為85%,那麼團隊應該進行診斷分析,從資料源分析未達成指定目标的原因,并逐一采取措施,最終達到目标。

由于資料源類型多樣,團隊執行的分析任務衆多,會涉及關聯分析、分類分析和異常值檢測等環節,這種不定時的分析任務會用到預測分析能力。預測分析能力是靈活組織應具備的能力之一,可以幫助團隊對正常、可重複的流程建立準确的預測模型,進而預測出項目傳遞時間以及其他變量。靈活組織還需要建構預警能力,在達到項目的某些峰值時顯示預警信号,指導團隊采取應付措施。

描述、診斷、預測、預警的組織體系可幫助企業在靈活組織内形成标準化的工作流範式,進而統一、規範項目制工作流程,保障各個項目及任務有序進行。

5.2

配備數字化專業人才

靈活組織是企業數字化轉型必備的組織,其概念源于特種部隊,是企業為實作數字化轉型而打造的作戰隊伍。該組織具備一定的自治能力,一線執行人員可以在了解任務意圖之後,自主完成任務。組建靈活組織要求團隊成員具備一定的專業經驗及能力,能夠在複雜的商業環境中高效、精準地完成任務。靈活組織的規模不限,但通常應配有以下幾個重要角色,如圖所示。

資料中台的五個關鍵要素

01  資料研發工程師

資料研發工程師需要熟悉大資料開發平台,熟練掌握大資料研發工具,能夠運用各種大資料開發技術進行資料開發,并有良好的寫代碼習慣和一定的架構能力。

02  資料應用工程師

資料應用工程師需要掌握時下流行的前後端開發技術,熟悉大資料環境下的應用開發架構,熟悉大資料應用架構和性能優化等綜合技能。

03  資料智能科學家

資料智能科學家需要掌握通用的資料挖掘和分析工具,包括機器學習和深度學習等前沿技術,并能夠将其有效應用于業務場景,解決客戶的實際問題。

04  資料産品經理

資料産品經理需要掌握資料技術,熟悉客戶并對資料有獨到的商業了解和思考,最終能以有形或無形的資料産品滿足客戶利益、資料和商業價值最大化。

05  資料可視化設計師

資料可視化設計師需要掌握資料互動或視覺設計能力,擁有很強的互動體感和極緻且成本可控的審美,最終以全流程、高保真互動與視覺體驗稿為傳遞物。

06  資料模型師

資料模型師需要掌握資料技術,了解業務需求并具備全局架構、模型設計、資料研發和運維調優等能力,最終可以低成本、高效率地傳遞具備高可用性和高擴充性的資料。

除以上人員外,企業還可以根據需要設定資料隐私官、資料管理主管、資料治理經理、資料服務總監、資料分析主管、大資料管理者、主資料管理主管、資料品質負責人、資料内容管理者等。這些人員配置将豐富企業的人才建設,滿足企業多方面的用人需求。