在日常業務中，你知道資料從哪裡來、怎麼處理資料嗎？在這篇文章裡，作者便針對資料處理這件事進行了分析總結，并從名額體系、資料來源、資料處理、資料展示等次元做了拆解，一起來看看吧。
在前一篇文章中，我們梳理資料的模組化方法，最終能夠順利的搭建一個業務的資料模型。
資料模型相當于是一個架構圖，一個設計藍圖。
但到目前為止，還沒有資料，資料怎麼來，需要怎麼處理資料，如何展示給需要的人，怎麼樣使用資料呢？
是以本文就對以上内容做一個概要性的梳理。
一、名額體系
在之前的文章中《企業架構6——業務資料體系》中，我們已經梳理了如何去搭建整個業務的資料名額體系，大家有興趣的可以點選連結檢視。
1. 整體的名額體系搭建
OSM模型——通過将宏大的營運目标逐一拆解，對應到可落地的營運政策和可度量的營運動作上，進而確定我們梳理名額時不會偏離“主航道”。
UJM模型——使用者在使用産品過程中的生命旅程，指使用者從首次接觸直至下單以及享受産品或服務期間，使用者與企業産品或者平台互動的全過程。
2. 布局具體名額
有了大架構之後，我們在實踐中會發現，想要快速切入，快速落地，往往可能找不到明确的切入點。
這個時候我們采用場景化的方法來分析，比如我們的業務需要獲客，獲客場景中，我們要看我們的獲客轉化率，那我們可以使用海盜模型，AARRR。
這種則根據具體名額→業務場景→對應名額體系這樣來拆分，這樣能夠結構化，子產品化的逐漸梳理。
二、資料來源
當我們設定了名額體系，根據名額體系或系統需要什麼樣的資料（業務資料、使用者行為資料、使用者資料），也就是我們要決定資料類型。
這些資料的格式有什麼限制（是文本、音頻、視訊、圖檔還是什麼）？
當我們梳理清楚需要那些資料，我們再看怎麼采集這些資料，也就是資料的源頭是通過傳感器，還是用戶端，還是業務系統；是通過線上采集，還是把線下的資料手動導入進來，還是通過api接口？
這些資料可能是自己的系統能夠産生，也許自己沒有要向第三方拿，這就是資料的歸屬權。
業務資料的收集直接在業務運作就能拿到，使用者資料是使用者基本資料資訊這個在系統設計的時候就可以收集，使用者行為資料需要進行一些埋點采集。
1. 使用者行為資料采集方案
比如說，我們想要了解使用者進入某個頁面之後的行為。我們梳理使用者進入app之後可能的各種行為，如下。
針對每個操作事件，我們按4W1H的方式來記錄相關資料。
如下圖，我們梳理首頁的埋點事件。
埋點的方法有代碼埋點、全埋點、可視化埋點，原理是一緻的，各自的方法略有不同。
以下為我們梳理一個浏覽頁面的埋點文檔。
三、資料處理
1. 資料清洗和轉化
在資料采集之後，需要對資料進行清洗和轉換。資料清洗是指去除重複、缺失、錯誤的資料，以保證資料的準确性和可靠性。資料轉換是指将資料轉換成符合資料倉庫要求的格式和規範，以便後續的資料處理和分析。
2. 資料內建
在資料清洗和轉換之後，需要對資料進行內建。資料內建是指将不同的資料源中的資料進行整合，形成一個統一的資料集。這個資料集需要包含企業的曆史資料和實時資料，以便後續的資料分析和決策支援。這個階段通常需要使用一些資料內建工具，例如ETL工具等等。
3. 資料存儲
在資料內建之後，需要對資料進行存儲。資料存儲是指将資料存儲到資料倉庫中，以便後續的資料查詢和分析。這個階段通常需要使用一些資料存儲工具，例如關系型資料庫、非關系型資料庫等等。
四、資料展示
資料可視化是指将資料分析結果以圖表、圖像等形式展示出來，以便更好地了解和利用資料分析結果。
通俗來說，就是要把你分析好的資料結果用正确的圖表展現出來,讓人一眼可以看出關鍵資訊的一種展示形式。
是以，要做好資料展現的前提，就是要先确定好用哪種圖表來表現資料，讓圖表結果最為直覺。
1. 明确目标和需求
在進行資料可視化設計步驟之前，需要先明确設計的目标和需求。這包括了解使用者群體、了解他們的需求和期望、确定所要展示的資料類型和資料來源等。隻有明确了設計的目标和需求，才能更好地進行下一步的設計工作。
在明确目标和需求時，需要考慮以下幾個因素：
- 使用者群體：需要了解所設計的大屏将會被哪些人使用，不同的使用者群體可能對資料的需求和展現方式存在差異；
- 資料類型和來源：需要明确所要展示的資料的類型和來源，以便選擇合适的資料可視化工具和呈現方式；
- 需求和期望：需要了解使用者對資料可視化大屏的期望和需求，以便在設計時進行考慮。
2. 選擇合适的資料可視化工具
選擇合适的資料可視化工具是設計資料可視化的關鍵。根據所要展示的資料類型和資料來源，選擇合适的資料可視化工具可以使得資料更加直覺地展示出來，并且讓使用者更容易了解資料所包含的資訊。
在選擇資料可視化工具時，需要考慮以下幾個因素：
- 資料類型和來源：需要選擇針對所要展示的資料類型和來源的資料可視化工具；
- 可視化效果：需要選擇能夠呈現出所要展示資料的效果的資料可視化工具；
- 易用性：需要選擇易于使用的資料可視化工具，以便在設計時更加友善和高效。
3. 選擇合适的資料呈現方式
資料可視化大屏有多種資料呈現方式，包括柱狀圖、折線圖、餅圖、雷達圖等等。在選擇資料呈現方式時，需要根據資料類型和資料來源，選擇最合适的資料呈現方式，以便更好地展示資料。
在選擇資料呈現方式時，需要考慮以下幾個因素：
- 資料類型和來源：需要選擇針對所要展示的資料類型和來源的資料呈現方式；
- 資訊層次：需要根據資料的資訊層次，選擇合适的資料呈現方式；
- 可視化效果：需要選擇能夠呈現出所要展示資料的效果的資料呈現方式。
比如：Power BI、finebi、Tableau、Sugar BI、神策資料、growingio、QlikView。
分類1——基本分類
資料可視化分為四種情況：比較、聯系、構成、分布。具體使用指南如下圖所示：
1）比較
比較資料間各類别的關系，或者是它們随着時間的變化趨勢。
2）聯系
檢視兩個或兩個以上變量之間的關系。
3）分布
關注單個變量，或者多個變量的分布情況。
4）構成
每個部分占整體的百分比，或者是随着時間的百分比變化。
每種圖形的詳細使用說明見文章《資料可視化常用圖形分類，用途及使用建議》，點選可以檢視。
分類法2——圖示字典Visual Vocabulary
該圖表字典将資料可視化分為了九種類型，分别是Deviation、Correlation、Ranking、Distribution、Change overt Time、Magnitude、Part-to-whole、Spatial、Flow，共計76個圖表。
1）Deviation——差異
可了解為“差異”。強調固定參考點的變化（+/-）。通常，參考點為零，但也可以是目标或長期平均值。也可以用來表示情緒（正面/中立/負面）。
FT使用示例：貿易順差/赤字，氣候變化。
2）Correlation——相關性
可了解為“相關性”。顯示兩個或多個變量之間的關系。請注意，除非你告知讀者，否則他們很可能認為你展示的是因果關系（例如一個變量導緻另一個變量變化）。
FT使用示例：通貨膨脹和失業，收入和預期壽命……
3）Ranking——排名
可了解為“排名”。當項目的排序或位置比其絕對值或相對值更重要時，可使用排名類圖表，在結果中進一步突出感興趣的點可以吸引使用者的注意。
FT使用示例：财富、排位名次表、選區選舉結果……
4）Distribution——分布
可了解為“分布”。顯示資料集的值及其出現頻率。通過分布的形狀（或偏離程度）突出資料的不一緻或不平均性。是一種便于記憶的方式。
FT使用示例：收入分布、人口分布(年齡/性别)……
5）Change over Time——趨勢
可了解為“趨勢”。強調趨勢的變化，有可能是短期（一日内）波動，或者是長到數十年或數百年的變化。選擇正确的時間段有助于向讀者提供準确的背景資訊。
FT使用示例：股價走勢、經濟時間序列……
6）Part-to-Whole——部分與整體
可了解為“部分與整體”。能顯示出一個整體如何被拆分為不同的部分。如果讀者隻是想了解個别組成部分的大小，不妨改用對比類的圖表。
FT使用示例：财政預算、公司結構、全國選舉結果……
7）Magnitude——對比
可了解為“對比”。用于比較資料大小。可以比較相對值（哪一個比較大），或比較絕對值（需要顯示出精确的差異）。通常用來比較數量，而不是計算後的比率或百分比。
FT使用示例：商品産量、市值……
8）Spatial——地理空間
可了解為“地理空間”。當資料中的精确位置和地理分布規律比其他資訊對讀者來說更重要時，可使用這類圖表。
FT使用示例：人口密度、自然資源位置、自然災害風險/影響、流域、選舉結果的變化……
9）Flow——流向
可了解為“流向 ”。展示兩個或兩個以上的狀态、情境之間的流動量或流動強度。這裡的狀态、情境可能是邏輯關系或地理位置。
FT使用示例：資金轉移、貿易、移民、訴訟、資訊、關系圖……
以上兩種資料圖表的分類方法各有不同，但本質都是将各類圖表進行分類，并且說明了每個圖表比對哪種資料。友善大家在選擇要可視化的資料之後，挑選更适配資料的表達方式。比如：
雷達圖：
① 用途
用來展示某一類型事物在幾個屬性的優良情況，或該類事物互相對比。可以在同一坐标系内展示多名額的分析比較情況。它是由一組坐标和多個同心圓組成的圖表。
即将一個樣本的各項名額所得的數字或比率，就其比較重要的名額集中劃在一個圓形的圖表上，來表現一個樣本各項名額重要比率的情況，使用者能一目了然的了解樣本各項資料的變動情形及其好壞趨向。
② 使用建議
資料點不能太多，一般不超過6個，否則無法辨識，是以适用場合有限。
4. 布局
布局是資料可視化設計步驟的重要環節。在設計圖表布局時，需要考慮多個因素，如可視化效果、使用者體驗、資訊層次等等。一個好的布局應該能夠使得資料更加清晰明了，同時也要展現出設計的美感。
在設計布局時，需要考慮以下幾個因素：
- 資訊層次：需要根據資料的資訊層次，設計出合理的布局，使得使用者能夠更加清晰地了解資料；
- 使用者體驗：需要設計出易于使用和操作的大屏布局，以便使用者更加友善地使用；
- 美感設計：需要考慮設計的美感，使得大屏布局更加吸引人。
不會布局，那麼可以去哪裡快速尋找儀表盤來進行模仿呢？這裡給大家推薦 4 個網站：
- 花瓣網，以配色+布局為主體，搜尋可以直接使用；
- 站酷網，以配色+布局為主體，跟花瓣網一樣；
- Collect UI，以UI設計為主，模仿網站背景；
- 優設網，以設計思路+教程為主，提升細節體驗。
在這些網站搜尋關鍵詞：大屏、Dashboard、看闆、資料報告，就可以找到非常多值得參考的大屏資料彙報，吸取他們的配色方案即可。
當我們最終經過布局之後、美化之後得到如下的一個可視化大屏，對不同的人給予不同的權限，則不同部門、不同層級的人所看到的的可視化大屏呈現的資料不同。
5. 測試和優化
在完成資料可視化設計步驟之後，需要進行測試和優化。
需要注意資料的準确性和完整性，如果發現了問題，需要及時進行優化，以便讓資料可視化更加完美。
在測試和優化時，需要考慮以下幾個因素：
- 資料準确性和完整性：需要測試資料的準确性和完整性，以便發現問題并進行優化；
- 使用者回報：需要收集使用者的回報和建議，以便在優化時進行考慮；
- 優化效果：需要測試優化後的效果，以便驗證優化是否有效。
五、資料分析
根據我們之前搭建的名額體系進行分析。
1. 分析的類型
1）描述性分析——發生了什麼
描述性分析是任何資料分析過程的起點，旨在回答發生了什麼問題，是我們通過對各種來源的原始資料進行整理，再将其轉化為對業務有價值的洞察。
2）探索性分析——探索資料之間的關系
顧名思義，探索性分析的主要目的是探索，其最典型的應用領域就是資料挖掘。通過探索性分析，能夠幫助我們發現原本不相關事物之間的資料變量聯系。
資料挖掘領域有一個典型案例：沃爾瑪通過資料挖掘，發現紙尿褲與啤酒的銷量資料呈相關關系。于是調整了超市貨架的擺放位置，将紙尿褲與啤酒放在相近的位置，沒想到雙雙增加了這兩種完全不同品類的銷量。
3）診斷性分析——為什麼會發生
診斷性分析是最常見的資料分析類型。營運人員通過診斷性分析能探究某件事情發生的原因，引發這件事情的前置事件是什麼，這件事情發生後又會引發什麼後置事件。
4）預測性分析——會發生什麼
預測性分析通過分析已知資料假設未來，回答将來會發生什麼的問題。
5）規範性分析——要采取什麼行動
規範性分析是最進階的資料分析類型，通過以上所有資料分析，并結合資料模型，回答要采取什麼行動的問題。規範性分析會分析多個場景，預測每個場景的結果，并根據結果決定哪個是最佳行動方案。
2. 分析的方法
1）趨勢分析
趨勢分析可以說是最基礎且最常用的資料分析方法。通過對有關名額各期對基期的變化趨勢分析，分析該名額的趨勢變化，從中直覺地發現問題，讓營運決策更準确和更實時。
2）細分分析
當趨勢分析過于宏觀，那細分分析則是精細化營運的必備，按照不同的次元一步步地對資料進行拆分，不斷接近問題發生的起源，讓營運擷取更加精細的資料洞察。
例如，某品牌零售企業的 GMV 某天有明顯下降，那麼我們就可以根據全國各省級行政區的次元，細分湖南省、廣東省、北京市、雲南省等 34 個省級行政區，檢視具體是哪個省級行政區的 GMV 有所下降。定位到具體的省級行政區後，還可以繼續往市級、區級層層細分。
3）對比分析
對比分析是将兩個或兩個以上的資料進行比較，分析差異并揭示資料所代表事情的發展變化情況以及規律。其特點是可以非常直覺地看出事情某方面的變化或差距，并且可以準确、量化地表示出這種變化或差距是多少，主要是為了給孤立的資料參考系。
4）溯源分析
追溯到事情的源頭去分析，是避免營運做過多無用分析的方法。
舉個例子，當一批使用者到來我們的産品内，購買轉化率比較低。通常情況下我們去分析，可能會圍繞産品流暢度、營運活動力度，或者商品吸引力等問題。但很有可能從源頭分析，這批使用者就并非我們的目标使用者，而是虛假流量。
5）歸因分析
通過一種或者一組規則，将銷售功勞或者轉化功勞等配置設定給轉化路徑中的各接觸點，即為歸因分析。
本質上歸因分析都是為了衡量和評估使用者觸點對總體轉化目标達成所作出的貢獻，評價的核心名額為轉化貢獻度。但具體如何衡量和評估，就需要我們用到歸因分析模型。
六、資料應用
在資料可視化之後，需要對資料進行應用。資料應用是指将資料分析結果應用到實際業務中，例如制定營銷政策、優化産品等等。這個階段通常需要與業務人員進行溝通和合作，以確定資料分析結果能夠真正地幫助業務發展。
1. 市場營銷
1）管道投放方評估
通過對各管道資料的收集，分析情況，判斷管道的效果，選擇合适的投放管道。
2）分發效率評估
基本上通過業務屬性、使用者屬性或行為特征資料提煉篩選人群分組标簽，再根據人群分組标簽比對對應的方案或内容庫，繼而根據規則進行是否展示和展示順序的判斷進行個性化推薦，以達到提升體驗、分發效率、業績等目标。
不同産品的差别往往隻在于實作這套體系時的内容供給類型與時效性，這很大程度決定了實作需求本身的成本大小，整體邏輯可概括為下圖：
3）個性化推薦
通過埋點收集使用者行為資料，計算使用者行為特征，進行行為預測，進行智能推薦。
4）精準營銷觸達
通過使用者行為分析及行為特征進行使用者分群，輸出精準名單，然後比對規則政策對接不同的通道/營銷系統，進行發短信/發 Push，亦或是發券發紅包的觸達等，這是産品外的一種營銷機制，其最終的結果是目标轉化。
2. 核心名額監控
對于C端産品來說，資料其實是使用者行為的真實回報。使用者在産品上的大部分行為，并不會直接告訴你，但是通過資料，我們可以分析使用者的使用路徑，需求的滿足程度，進而衡量産品的價值。
我們在前面也搭建了名額體系，我們也按照固定的周期檢查資料名額的情況，檢查之前的APP核心名額資料，看是否有異常。一般相關的資料波動在上下2%以内是可以接受的，但如果差距過大，就需要排查原因。
3. 驅動産品疊代優化
通過資料，在産品的疊代優化中，需要用合适的方式把無法量化的“客戶體驗”，通過不斷的分析進行量化，再通過不斷的知識積累進行營運決策，為産品的良性發展打下基礎。
4. 精細化營運
通過完備合理的政策規劃外，準确、及時的政策執行及同步的效果監測與分析。
可以提高決策效率和準确性，企業通過資料分析可以更客觀地評估各種政策和方案的優劣，消除人為偏見和錯誤，進而做出更明智的決策。
在體驗次元上，資料驅動可以幫助企業更好地了解客戶需求，進而優化産品和服務，提供個性化服務和産品，提高客戶滿意度。
在增長次元上，資料驅動有助于企業預測趨勢、市場變化和客戶需求，發現潛在的市場機會和創新領域，推動組織的創新和發展，進而實作增長。
七、總結
資料處理的整個流程包括資料收集、存儲、處理、分析、展示、使用。
本文簡單說明了一下流程的整個環節，每個環節需要做什麼事情，要有一個什麼樣的結果。
其中資料存儲及資料計算等環節因作者技術知識有限，說的比較粗略，更多想怎麼與業務聯系的角度來說明。
通過前一篇文章資料模組化及本文資料處理，算是從宏觀上對業務系統的資料方面有一個認知，之後我們就可以繼續往使用者畫像等角度去做深入研究，之後将逐漸看梳理相關的内容。
專欄作家
Markzou，8年産品經驗，人人都是産品經理專欄作家。主要專注于本地生活、O2O、到家服務、新零售領域；曾任職于多家本地生活垂直領域頭部公司，具有豐富的本地生活行業經驗。
本文原創釋出于人人都是産品經理，未經作者許可，禁止轉載。
題圖來自 Unsplash，基于 CC0 協定
該文觀點僅代表作者本人，人人都是産品經理平台僅提供資訊存儲空間服務。