業務發展不同階段的資料服務實踐

0、背景

       在業務發展的不同階段中，業務對資料應用的訴求是不同的，一般會經曆從滿足基本的取數看數，了解業務發生了什麼，到利用資料分析業務為什麼發生，最後利用算法模型來預測将來還會發生什麼；那麼在這些不同的階段中資料同學應該如何根據業務所需來提供适配的資料服務，本文主要就業務發展不同階段的資料服務實踐展開探索。

1、業務萌芽階段

       在業務發展初期，業務的商業模式在短時間内處于一個摸索嘗試的階段，會快速地根據業務效果調整業務方向和政策，是以這個階段業務團隊對資料的訴求特征一般展現為臨時性、高頻化、需要快速響應等；資料同學在這個階段應該着重在熟悉業務、了解資料、高效支援業務資料訴求。

1.1、熟悉業務

1.2.1、了解業務，建立互信

       資料同學在接手一塊新的業務時，第一要務就是通過各類途徑學習和了解業務，和業務同學、營運同學多溝通請教，了解業務的主要商業模式、業務主要環節過程中的各相關方，最好能通過筆記對一些核心的業務流程加深記憶了解，為将來的概念模型設計積累經驗；在這個過程中加深和業務同學的互相了解，建立互信。

       資料研發同學和單純的技術開發同學相比，在具備大資料處理技能的基礎上，還需要加深對業務的了解，這樣才能在未來與業務營運同學就資料的深層次應用價值共同探索找到應用場景。

1.2、資料支援

1.2.1、了解資料

       在熟悉業務的同時同步了解業務涉及的業務系統(日志)資料源，技術團隊往往側重于功能的實作，對一些業務過程類的資料不會刻意去存儲，資料同學需要協同業務産品、技術團隊盡可能保留業務核心流程産生的所有資料，不僅僅是結果類資料，過程類資料同樣需要保留，開始着手繪制業務線的資料大圖。

1.2.2、高效支撐

       對于業務同學提出的臨時需求需要高效地支援，采取短平快方法傳遞；同時在傳遞過程中需要做好需求的記錄、對臨時需求進行分類和梳理，抽象識别出這些需求中共性的東西，為後續平台化、産品化支援積累素材。

1.2.3、資料積累

       在這個階段資料的支援可以采取從ods層資料直接加工擷取，資料倉庫架構和模組化的工作可以開始規劃，做好對使用資料表的統計情況，做好辨別，加深印象，為後續資料模型設計時邏輯模型的設計打好基礎。

2、業務穩定階段

  在這個階段，業務的商業模式階段性趨于穩定，主要的核心流程也就是四梁八柱已經固定，如何判斷業務已經發展到穩定階段，需要我們資料同學根據和業務同學日常溝通擷取的資訊來判斷，穩定不是絕對的，是階段性相對的；業務的資料訴求将逐漸聚焦到一些核心資料項目共建上面，圍繞高效看數、反哺業務，賦能業務等方向展開，臨時取數需求的占比将逐漸減少。

       資料同學需要開始展開業務線資料基礎建設工作，基于前期的對業務的了解以及在傳遞臨時性取數需求時積累的資料統計資訊開始資料倉庫的設計和開發了，建設符合業務發展的資料體系。

2.1、資料基礎建設

2.1.1、資料倉庫架構

       資料倉庫是一個發展很多年的概念，比較成熟，資料倉庫的建設思路業内有自上而下和自下而上兩種建設思路；自上而下的思路多适用于比較穩定的業務，先統一規劃建設企業級資料倉庫，再建設資料集市；這樣做的好處是可以全方位梳理整合企業資料，不足之處在于傳遞周期比較長；自下而上的思路主要是先利用次元模組化方法建設次元一緻的某個業務主題的資料集市，通過一緻性次元講資料集市連接配接在一起組成資料倉庫；這樣做的好處是建設迅速，短期内就可以支撐資料應用，不足之處在于不好維護，尤其是規範不嚴格執行的情況下會産生煙囪式開發的惡果。

        兩個思路沒有孰優孰劣，僅僅是不同的選擇，但不管哪種思路的選擇，終究還是需要考慮自身業務形态以及平衡長期投入與短期産出的問題。這兩種建設思路代表着資料倉庫領域兩位大師各自的觀點，感興趣的同學可以深入去了解他們的内在思路。

       雖然各行各業業務形态有很大差異，但資料倉庫的架構設計還是大同小異，整體遵循了上面兩種思路，整體架構會包括貼源層、明細資料整合層、資料彙總層，隻是根據自身的資料環境進行裁剪。

2.1.2、資料倉庫模型設計

  關于資料模型的理論定義很多，摘錄一個比較認可的定義： 資料模型是抽象描述現實世界的一種工具和方法，是通過抽象的實體及實體之間聯系的形式，來表示現實世界中事務的互相關系的一種映射。 

       關于資料倉庫模組化，我了解的意義有以下幾點 ：

       i、模組化的過程中資料同學和業務同學一道對業務流程進行梳理，可以幫助資料同學全面了解業務的組織和運作情況；      

       ii、 對業務産生資料的全面梳理，沉澱業務資料資産，建立結構統一的資料規範和架構，消滅内部的資訊孤島和資料差異；

       iii、資料模型是技術同學與業務同學溝通的一個橋梁，模型作為整體業務的抽象化載體，可以幫助業務了解技術，技術了解業務；

       一般模型的層次會大緻包含概念模型、邏輯模型和實體模型三個層次 ：

       i、概念模型，主要是梳理業務的主要流程，對業務進行抽象概括，根據業務形态劃分主題域；

       ii、 邏輯模型，對主題域進行細化，識别出實體以及實體屬性、事件、實體間的關系等，常以ER圖展現；

       iii、實體模型，主要是邏輯模型的實體實作，需要考慮資料庫平台；

2.1.3、資料倉庫模組化思路

      貼源層、明細資料整合層、資料彙總層每一層都有自己模型設計思路，在貼源層資料模型的結構一般與業務系統資料結構保持一緻，僅有的變化可能在添加資料的更新時間戳；當資料倉庫建設采取自上而下的資料倉庫架構，則明細資料整合層會采用3NF範式模組化的思路，資料彙總層一般會采用次元模組化的思路；當資料倉庫建設采取自下而上的資料倉庫架構，則明細資料整合層和資料彙總層均會采用次元模組化的思路。

       關于3NF範式模組化和次元模組化兩種模組化思路的理念和方法，這裡不展開；

       資料倉庫模型設計是一個非常哲學的話題，仁者見仁智者見智，總歸還是要和業務形态和發展程序相結合，在兼顧效率如何服務好業務和模型規範兩個點上做好平衡。

2.2、資料服務

       在這個階段業務同學對資料的訴求已經轉向通過資料來驅動業務營運，資料同學可以通過賦能業務和産品化思維兩個方向來支援業務；賦能業務是提高業務的資料技能，産品化思維是降低使用者的資料應用門檻，提升效率，兩者結合相得益彰。

2.2.1、賦能業務

       賦能業務主要是圍繞提升業務同學的資料應用技能展開，内容涵蓋日常取數(基礎sql文法)、制作報表、資料分析的技能，可以采取專項的資料技能教育訓練班形式組織，在日常教育訓練中納入具體的業務場景讓業務同學在實戰中成長。

       賦能業務展現的不僅僅是傳道受業解惑，更重要的是在賦能的過程中，拉近與業務同學的距離，增強業務同學對資料的了解，激發他們在業務資料化營運背景下的參與感；通過資料賦能，資料化營運的主角由資料團隊在背後推動變為業務團隊在前方的牽引，方向目标感更強，點燃業務同學的資料火花，資料團隊的角色由單純的資源方逐漸過渡到業務同學合作夥伴，一起協同幫助業務成長。

2.2.2、産品化思維    

       這裡的産品化思維主要是将産品營運的思路引入到日常的資料服務，核心聚焦在三個方向，分别是工具提效類、營運分析類和業務功能類。不同的産品化方向适用于不同的業務場景，但歸根結底都是要從解決業務實際問題出發，切勿閉門造車；搜集業務營運過程中内、外部客戶關于資料相關的訴求，梳理沉澱核心問題來選擇相應的産品形态。

       工具提效類的産品，通過平台化、系統化解決業務同學在資料應用過程中遇到的通用、高頻類問題，提高業務同學資料應用的效率，同時解放資料研發同學的生産力，使其可以聚焦到更有價值的工作中，此類産品譬如資料營運平台、即席取數等。

       營運分析類的産品：主要是圍繞使用者在看數以及資料分析領域，将日常業務分析決策的思路引入到報表設計開發過程中，對業務報表進行梳理整合，打造一站式看數、支撐業務資料分析的資料平台，此類産品譬如對内的各業務線的業務參謀、全鍊條業務監測，對外的資料管家等。

       業務功能類的産品：從解決業務問題入手，充分利用資料的價值，引入孵化出基于資料為基礎，算法為核心，解決業務問題為導向的資料産品，産品譬如商品價格監測平台等。

3、業務成熟階段

       在這個階段，業務的商業模式已經穩定，業務同學對資料的訴求主要聚焦在資料如何幫助業務成長或者是如何解決實際業務中面臨的問題，重要的是資料的價值和可以帶來的效益；這就要求資料同學真正融入業務，了解業務痛點，把資料應用場景拓展到業務的毛細血管中，讓資料在流動中發揮價值，資料化營運，幫助業務更智能，更健康。

       資料驅動業務是資料化營運的重要方向，如何利用好現有積累的海量資料、大資料處理技術、豐富的資料算法模型來擷取幫助業務成長的有效方法是資料同學需要重點思考的；沒有固定的服務形态，在提高核心名額轉化率、營收增長、風險管控、客戶體驗、内部提效等方面向資料要紅利。

4、後記

       撰寫本文的初衷是對這些年資料研發/資料倉庫建設工作做一個體系化的總結和思考，一家之說，不能以一概全；大資料已經是一個非常熱門的話題，有時候常常思考資料到底能為業務帶來什麼樣的價值，馬總講資料是新能源，既然定位為能源那必須要驅動業務發展方能證明自己，資料在業務發展中的價值要做到雪中送炭而不單單是錦上添花。

       關于資料應用價值，曾教授曾經寫過一篇關于智能商業的文章，非常受益，很好地将資料、産品、算法三者有機結合起來，創造出新的商業範式，這應該是未來大資料應用最好的方式吧！

附文章連結：http://www.pmcaff.com/article/index/2000000000010647

       資料研發同學需要與時俱進，站在業務的角度，通過對資料的了解，不斷拓展自己的視野和邊界，技術、産品、算法，保持好奇心、主動性、勤于思考，勇于挑戰！