天天看點

大模型時代,資料中台現在過氣了嗎?

作者:人人都是産品經理
最近兩年,好像沒什麼公司說“中台”這種概念了。甚至有人說中台已經不行了。實際情況是這樣嗎?其實并不是。
大模型時代,資料中台現在過氣了嗎?

一、資料中台的概念有沒有過時

2019年中台火爆之後,大廠紛紛建設中台,一些資料服務公司甚至專門推出資料中台相關的産品;後來<XX拆中台了>的文章開始甚嚣塵上,中台的熱度逐漸散去。但是資料中台是真的不需要了嘛?

資料中台的核心思想是資料輸出能力的元件化、服務化,進而提升資料從采集到賦能業務應用的效率。在經濟環境不景氣的情況下尤其重要。隻是需要平衡業務應用産出的價值和中台能力建設的成本的ROI。AIGC、生成式AI應用也需要依賴于完善的資料資産和中台化資料能力,否則每個GENAI的業務場景的定制化,成本必然很高且難以快速複制。

資料中台的核心思想是将所有的資料資源和服務整合到一個統一的平台上,實作資料的集中管理和服務。這主要是為了解決企業資料管理中存在的“存”、“通”、“生”的難題,即連接配接資料孤島,讓一切業務資料化,讓一切資料業務化。

通過将企業的資料轉化為資料資産,資料中台可以提高資料研發效率、資料發現效率和資料分析效率,并解決資料品質問題,包括數倉設計的品質、名額的一緻性和資料研發的品質等。

資料中台需要解決以下問題:

  • 資料孤島問題:企業中不同的部門或系統可能擁有各自的資料資源,形成資料孤島。資料中台通過集中管理和整合這些資料資源,實作資料的共享和互通,打破了資料孤島,提高了資料的利用價值。
  • 資料效率問題:在資料研發、資料發現和資料分析過程中,由于缺乏統一的資料平台,往往導緻效率低下。資料中台通過提供統一的資料接口和服務,簡化了資料擷取和處理的流程,提高了工作效率。
  • 資料品質問題:由于資料來源多樣、格式不統一,資料品質往往難以保證。資料中台通過資料清洗、整合和标準化處理,提高了資料的一緻性、準确性、及時性和完整性,進而保證了資料的品質。

二、資料中台一般架構

大模型時代,資料中台現在過氣了嗎?

資料中台的目标是:效率,成本,複用,業務資料化,資料資産化,資産業務化。

降低業務創新過程所需資料的擷取和使用成本,資料分析和大資料人工智能應用更便捷。

很多文章裡會講,資料中台的輸出是API,API即服務嘛,但一個API要更加快速高效的輸出,要依賴于資料同步、資料清洗加工、資産沉澱等各個流轉環節,木桶效應,任何一個部分出現短闆,整體的效率都不會高。

是以,我把資料中台的産品架構分為五層:

  1. 資料服務層:基于資料資産、平台工具輸出的分析服務、資料查詢服務,可視化服務、标簽、算法服務等
  2. 資料資産層:包括數倉模型資産建設、資料治理、資産盤點
  3. 資料加工層:基于業務邏輯進行ETL的過程,包括批、流資料的開發、排程、搬運、運維
  4. 資料內建層:資料入湖第一步,把不同資料源資料同步到統一的資料倉庫或資料湖
  5. 基礎設施層:最底層是大資料叢集服務,包括存儲、計算、資源排程和Hadoop生态的各個元件管理
大模型時代,資料中台現在過氣了嗎?

三、資料中台包含資料産品簡介

1.資料采集

定位:提供企業内、外部資料采集解決方案,為大資料分析應用提高原始資料支援,是企業的“資料原油”,沒有資料,大資料就是無源之水。

産品子產品:埋點解決方案&埋點管理平台、爬蟲系統、資料填報系統

2.元件管理

定位:大資料元件管理平台,以配置化的流程替代人肉指令行操作、運維大資料叢集及各個元件。

産品子產品:雲平台、HDFS管理、Kafka管理、Hbase管理、ES管理

3.開發套件

定位:産品化、自動化資料采集、同步、加工到應用流程,提升資料開發效率,降低開發成本,縮短業務創新資料需求周期。

産品子產品:資料內建、離線開發平台、實時開發平台、智能運維平台、機器學習平台

4.資料資産

定位:沉澱資料資産,公開資産目錄,助力資料共享,并依制定資料稽核規則監控資料品質,從源頭保證資料準确高可用,統一權限管控,保證資料安全。

産品子產品:資料地圖、資料血緣、名額系統、資料品質監控、模型建設平台、資産管理中心

5.資料治理

定位:治理低效或無價值的資料及任務,釋放存儲&計算資源,實作資料資産成本的精細化管理。

産品子產品:成本優化中心、資料安全中心

6.分析應用

定位:聚合和治理跨域資料以産品化形式封裝資料能力,将資料應用于業務決策、産品優化、精細化營運等環節,挖掘資料價值,賦能業務。

産品子產品:

資料分析:Adhoc查詢、使用者行為分析系統、自助分析、靈活BI、資料可視化平台、智能分析平台

産品智能:個性化推薦、使用者畫像與精準營銷平台

7.資料服務

定位:基于資料中台思想,将資料快速輸出API服務,同時具備服務監控及管理能力

産品子產品:API服務平台、推薦平台、智能預警&資料訂閱(從人找數到數找人)

8.通用功能

定位:抽象各資料産品通用子產品,提供統一服務能力,減少各産品重複建設,降低開發成本

産品子產品:工單系統、消息中心、幫助中心、統一權限、産品導航、需求中心

大模型時代,資料中台現在過氣了嗎?

四、小結

對于資料中台産品,各家公司都在做很多相似的事情,作為資料産品經理的你,目前在從事哪一産品領域的工作呢?未來職業發展規劃又想哪一子產品的産品工作呢?

在此明确回答一下一些同學的疑惑,<AI時代是不是資料産品是不是應該轉型做AI産品經理?>,答案是:AI應用是資料核心價值展現的方式之一,但是想要AI應用更高效,低成本,企業需要持續完善基礎的資料産品的中台化基建能力。

本文由人人都是産品經理作者【資料幹飯人】,微信公衆号:【資料幹飯人】,原創/授權 釋出于人人都是産品經理,未經許可,禁止轉載。

題圖來自Unsplash,基于 CC0 協定。

繼續閱讀