天天看點

加速資料流轉,快看億級資料分析營運體系搭建和業務賦能

作者:觀遠資料

近日“讓業務用起來 · 觀遠資料2022智能決策峰會”落下帷幕。快看資料研發負責人屈世超帶來了《億級資料分析營運體系搭建和業務賦能》的主題分享,基于快看業務發展特點,屈世超分享了快看資料中台的建設背景和建設思路,以及讓資料在内部流轉起來的經驗。

業務特點決定資料需求

快看創辦于2014年,是中國年輕人的國漫IP平台和分享社群。截止到2021年8月,快看總使用者超過3.4億,月活接近5000萬,超過行業第二名至第六名之和。85%以上的快看使用者是00後,被稱為“超新Z世代”,他們用創作表達興趣和熱愛。快看作品已登陸全球近200個國家和地區,成為中國文化出海的代表。

業務特點決定資料需求。屈世超在2016年加入快看,是當時第一個資料開發工程師。在近七年的時間中,總結了4點快看業務發展的資料應用特點。

第一,主營業務持續疊代、精益提升。這也是網際網路的特點,主營業務在持續形态、商業化模式以及使用者營運上,通過AB測試快速、持續地疊代。

第二,新業務方向的探索,尋求使用者和收入新增量。2018年網際網路使用者天花闆逐漸見頂,快看開始探索新增量。基于資料的了解,資料使用越來越深,資料要求越來越高,新業務數量不斷增長,資料需求也是全新的。

加速資料流轉,快看億級資料分析營運體系搭建和業務賦能

第三,自上而下使用資料,資料依賴度高,人人用數。快看内部人人用數。以觀遠資料BI平台為例,快看2/3以上的使用者員工都有觀遠賬号,大部分使用者在自己的業務線内都能夠自助建立靈活的報表以及整個分析的鍊路。

第四,業務創新性高。快看作為漫畫垂類Top1的平台,基本以創新性業務為主,做商業化、使用者營運、内容創作,是行業裡面資料應用的一個探索者。

以上特點可以概括為,快看的業務疊代速度非常快,對資料的應用要求很高,要求具備很強的靈活性,無論從資料内容上、應用形式上,還是公共能力,都會不斷地疊代變化。

快看資料中台建設背景與思路

針對以上業務特點,快看從2015年就已經提出資料中台的建設概念。資料中台的價值是在複雜的業務中,提煉出資料以及資料應用的公共能力,并能把這種公共能力讓各個業務靈活接入,讓資料便捷地應用起來。快看一直秉承着資料中台建設的思路,核心目标是打好業務對資料的需求基礎。以下是快看資料中台的建設全景圖。

加速資料流轉,快看億級資料分析營運體系搭建和業務賦能

快看在搭建平台後第一件事就是資料采集,包括業務日志、業務資料庫資料、三方資料以及埋點。采集層需要保障資料采集上報的通道和上報的準确性。

之後需要建設資料相關的内容體系。快看資料内容的建設基于數倉,持續進行離線數倉的模組化和實時數倉的模組化,以及數倉模型和業務過程模組化之間的映射。

再之上是資料産品矩陣。建設資料内容不是讓所有的業務産品和營運人員直接去數倉拿數。快看把資料内容和資料模型,以一定形态呈現給業務,搭建資料産品矩陣,例如畫像平台、名額管理系統、使用者行為分析平台、觀遠資料 BI 平台等。對于資料的使用,除了可視化之外,還有資料服務化,包括資料KV服務、功能的API服務等等。

資料産品矩陣再往上是業務應用。業務感覺最明顯的是管理項或者業務項報表。這裡面分為實時報表和離線報表,以及很重要的OLAP分析。

實時報表、離線報表以及OLAP分析,是目前在快看内部是業務使用場景最廣,也是業務賦能最有效的産品工具。離線報表一般是支撐長期的政策分析;實時報表支撐一般是支撐業務内的特定場景、特定子產品的即時政策分析;OLAP分析是賦能業務進行自助的高效分析。

如何讓資料在内部流轉起來

快看的資料中台持續積累了6年多的經驗,從無到有,走向逐漸完善。下面介紹資料中台建設的能力和進展,以及如何讓資料在快看内部正确用起來,讓資料流轉起來。

一般企業内阻礙資料應用的因素可能會很多,屈世超總結了三點:

易用性。易用性不單單是BI層面,而是整個資料使用的鍊路。一方面是資料營運基礎,另一方面是有了資料中台之後的營運問題,能否解決業務的用資料問題。

資料多樣性。資料本身有很多的名額次元,存在多樣性。對于活躍、留存等等,如果沒有統一口徑,一百個人有一百個定義。除了業務側定義有差異之外,在資料使用上、計算口徑上、提數的口徑上也會存在多樣性,導緻資料難以統一、難以使用。

與部門“牆”有相關性。不同的部門所參與的不同業務有差異,會更關注自己業務特定的核心資料的應用,這會導緻不同部門對同一個名額的定義、關注度存在差異。

有了三個主要的應用因素,快看是如何解決這三個問題,進而讓資料在各個業務内應用起來?

任何一個公司都可以進行資料内容、資料數倉模組化的建設。以下是快看建設内容數倉模型時,對于數倉模組化和資料治理方面的經驗模型。基于OneData模型,在APP、DWS區分主題域,在DWD、ODS區分資料域,做分域的存儲。上層使用觀遠資料,引入儀表盤,自助報表工具。

加速資料流轉,快看億級資料分析營運體系搭建和業務賦能

這中間欠缺了整個使用路徑,快看通過産品和資料營運的方案解決了這個問題。每一個業務都會存在很多業務過程,通過對業務過程和業務場景的梳理,從資料分析的視角來看,每個過程都有相應的核心轉化名額,把業務過程和轉化名額結合起來做映射,每一個名額與底層數倉模組化有很強的相關性。

底層數倉模組化是為了解決業務需求、業務問題,以及業務對資料的使用。面向核心名額和常用名額的數倉模組化思路,可以指導數倉模組化。現在要做業務過程以及業務過程中核心名額,以及底層支撐數倉模型庫表的映射,這是名額管理系統所承載的産品定位和功能。它解決的問題是業務産品營運和分析師,在分析一個特定業務場景和特定名額時,可以順利找到存儲庫表的位置,這是名額管理在查數使用中的功能。

此外還有一個問題,資料在表裡面如何存儲?存儲的格式、含義是什麼?如何使用目前存儲的模型?這些是資料地圖産品承載的功能,将數倉庫表的原資訊進行維護,對資料品質以及生命周期進行管理,讓整個庫表的資訊能夠一目了然。基于這些産品能力,就成功把上下兩部分串聯起來了。這裡面要強調一點,除了産品能力的沉澱,對于産品應用的資料資訊、資料地圖等資訊的營運管理也是非常有必要和值得長期投入的事情。

以上,快看解決了業務友善用數的問題,接下來将介紹快看如何正确使用資料,讓資料在公司内部能夠正常流轉起來,産生應有的資料價值。

大的原則是統一名額的定義。快看在長期實踐中總結了一套機制,保障大家對于資料的使用都是正确的,避免了每個部門基于自己了解使用資料:

首先,自上而下。基于公司的年度目标,自上而下進行目标名額拆解,與公司内部重點項目的對齊和承接機制相呼應,進行名額的統一定義。

第二點,對齊依賴。在名額體系制定的過程中,務必前置對齊跨部門、跨業務的依賴名額,避免事後的問題,這是需要重點強調的。

第三點,保證資料準确性。快看擁有一個中立部門,專門負責名額、儀表盤等建設,保證資料的客觀和可信。

最後,屈世超對快看資料中台建設思路和讓資料流轉,總結為三點:

第一,資料中台的能力是應用資料的基礎,資料中台建設内容的準确和完善,産品能力和資料營運保障到位,這是業務側能夠用數的基礎。

第二,有了資料中台之後平台的易用性可以加速資料的流動,在部門間和部門内進行資料流轉,大家做資料的對齊,使用和應用。

第三,儀表盤名額體系的建設有很多技巧,也有很多坑在裡面。尤其在企業内對齊核心項目,以及跨部門對齊名額的時候,一個名額體系的建立,要對應到資料儀表盤體系的建立。

繼續閱讀