摘要
為适應資料應用需求，大資料平台架構持續演進，曆經資料倉庫、資料湖兩個階段。2020年，湖倉一體概念提出，湖倉一體架構因能實作資料資産統一管理、降低資料備援、降低大資料平台架構運維複雜性，将成為大資料平台的主流架構。
根據愛分析調研，2022年中國湖倉一體平台軟體市場規模15.2億元。其中，科傑科技市場佔有率占比11.1%，華為雲占比9.5%，星環科技占比7.3%。愛分析預測，2025年，中國湖倉一體平台軟體市場規模将達近100億元，2022-2025年三年複合增長率為86%。
圖表1：湖倉一體平台軟體市場規模及增速
圖表2：2022年湖倉一體平台軟體市場佔有率占比
湖倉融合作為湖倉一體的先進架構，在ACID事務性、存算分離、批流一體、中繼資料統一管理等方面具有明顯優勢，未來将成為湖倉一體架構實作的主流技術。
要在競争激烈的湖倉一體市場取得成功，廠商應當重點關注雲原生、湖倉融合、Data Fabric、DataOps等能力的建構，以上能力将構成湖倉一體平台軟體的技術壁壘。在布局上，需重點布局金融業，同時關注工業、交通等潛力行業。
01 湖倉一體架構介紹
1.1 大資料平台架構進入湖倉一體時代
随着資料量級持續擴充，資料類型多元化，以及數字化轉型深入企業資料應用場景變得日益複雜，業務對于資料實時性的要求需要企業兼具批處理、流處理能力；複雜的業務類型又需要企業同時具備描述性分析、預測性分析、診斷決策性分析以及探索性分析等能力。相較資料倉庫、資料湖，湖倉一體更能完全滿足數字化轉型企業對大資料平台的各種需求。這也預示着大資料平台架構曆經資料倉庫、資料湖兩個階段後，正式進入湖倉一體新時代。
圖表3：大資料架構演進驅動因素
1）企業資料分析需求推動資料倉庫出現
20世紀90年代，為滿足企業靈活資料分析需求，基于聯機分析處理（OLAP）的資料倉庫概念開始出現并迅速發展。資料倉庫能解決分散資料源的內建、分析問題并作為第一代資料分析平台開始被大範圍使用。
圖表4：資料倉庫示意圖
2）海量異構資料的分析需求促使大資料平台進入資料湖階段
21世紀網際網路時代，社交媒體、搜尋引擎等新應用層出不窮，為資料應用場景帶來劇烈變化，資料體量從GB級提升至TB和PB級，原有大資料平台架構的可擴充性遠遠無法滿足計算需求。同時文本、圖像、語音等非結構化資料量急劇增長，異構資料低成本存儲對大資料平台提出了新的挑戰。資料湖以極低成本實作任意格式資料的統一存儲、管理和分析，尤其适用于資料挖掘、預測、推薦等進階分析場景等優勢開始被廣泛應用。
圖表5：資料湖示意圖
3）數字化轉型時代，資料資産統一管理和共享服務推動湖倉一體發展
在實踐中，資料湖本身具有明顯的局限性，如資料湖對SQL标準、ACID特性的支援較差，資料品質難以保證，資料版本控制和索引功能也不足，難以完成批處理和流式作業融合，緻使資料湖難以完全取代資料倉庫，靈活分析類的企業級應用場景仍然是以資料倉庫為主。
數字化轉型時代，企業需要采用新的架構實作海量異構資料的低成本存儲和高效分析的同時實作資料資産統一管理和共享服務。
為兼具資料湖低成本存儲、資料倉庫高效分析的特性，企業嘗試通過松耦合的方式分别承建資料倉庫和資料湖。資料湖集中存儲所有資料，資料倉庫主要存儲結構化資料。此種架構下，資料需要在兩套架構間多次備份，産生資料孤島、存儲備援、開發維護困難、資料響應周期長等問題。
2020年，Databricks首先提出“湖倉一體”的概念，湖倉一體是一種結合了資料湖和資料倉庫優勢的新範式。同期，國内技術廠商開始探索湖倉一體實踐。本報告中，湖倉一體是指結合資料湖和資料倉庫的新型架構體系，能實作海量異構資料的統一存儲、計算、開發、管理和服務，支援多種進階分析引擎，為企業打破資料孤島、提高資料應用價值。湖倉一體能有效解決資料孤島、降低資料存儲備援，減輕系統維護難度，是在資料倉庫、資料湖基礎上更新後的新型資料架構，未來将廣泛被大型企業采納用于提升資料生産力，助力數字化轉型更新。
1.2 實作湖倉一體的兩種路線：湖上建倉和湖倉融合
業界對湖倉一體的探索存在湖上建倉、湖倉融合兩種路線，湖倉融合代表未來趨勢。
1.2.1 湖上建倉
圖表6：湖上建倉架構示意圖
湖上建倉一定程度上實作了資料湖和資料倉庫的結合。在這種架構中，多源異構資料先統一ETL至資料湖中進行內建、存儲，再被ETL到資料倉庫中，支援資料分析；同時也支援資料科學、資料挖掘、機器學習、深度學習等多種計算分析引擎通路。
但湖上建倉沒有完全解決資料一緻性、資料備援等問題，并沒有真正實作資料統一管理，而且從資料湖ETL資料到資料倉庫的形式，也帶來了ETL的複雜性。湖上建倉架構的不足展現在以下幾個方面：
資料品質不可靠：資料從資料湖ETL至資料倉庫中，資料湖和資料倉庫的資料一緻性需通過多個流式引擎處理，相較傳統資料倉庫的批處理，操作複雜度大幅增加，可靠性難以保證，極易産生資料一緻性問題。
未實作全量資料對ACID事務性的支援：資料湖中的大部分資料仍是非結構化資料，資料倉庫并不支援對資料湖資料的治理，資料湖資料仍不支援ACID事務性。
資料備援未消除：湖上建倉本質上是資料湖、資料倉庫兩層架構，同一份資料仍以不同的模式存儲在資料湖和資料倉庫中，資料備援并沒有徹底消除。
資料倉庫不支援機器學習、資料挖掘等計算引擎：以TensorFlow、PyTorch為代表的機器學習、深度學習架構需要使用非SQL代碼處理大型資料集，不能直接通路資料倉庫的内部資料格式，因而不适用于資料倉庫系統。
1.2.2 湖倉融合
圖表7：湖倉融合架構示意圖
如圖所示，湖倉融合将資料湖多類型資料低成本存儲優勢與資料倉庫高效分析能力融合，通過事務層實作中繼資料統一，徹底消除資料孤島、資料備援，以一套資料實時、準确地支援多種工作負載，加速資料共享流動和價值挖掘。
湖倉融合在資料湖上增加事務層，事務層具備諸如事務管理、統一進制資料、索引、事務版本和狀态控制、資料目錄以及支援湖表格式等功能。事務層支援資料使用者靈活讀取多類資料，以一份資料支援BI、可視化、資料科學、機器學習等多種計算引擎。事務層使得資料湖在實作對結構化資料、半結構化資料、非結構化資料的統一管理的基礎上，具備ACID事務性。目前，Delta Lake、Apache Iceberg、Apahce Hudi等資料湖解決方案均已實作資料湖上的事務層。
而在資料實時分析需求、資料分析體量、資源動态擴充等需求的驅動下，存算分離和批流一體也已成為湖倉融合的必備功能。
此外，對于多資料源系統，湖倉融合也能通過資料虛拟化實作多源系統資料資産的統一管理。
基于國内外企業使用者的數字化成熟度和應用場景差異，國内外湖倉融合的産品功能略有差别。
國外湖倉融合廠商側重垂直技術能力的實作，如Databricks側重底層湖倉一體架構的實作以及對機器學習的支援，在資料管理和資料應用如資料品質、資料治理、資料名額等方面通過提供豐富、開放的資料API，與生态第三方合作實作。
國内湖倉融合廠商，相較國外企業的垂直技術能力，平台屬性更明顯。如科傑科技基于湖倉一體具備一站式資料平台能力，提供從資料采集、資料開發、資料治理、資料資産管理、資料模組化分析到資料服務等全鍊路資料能力，更适應國内企業需求。
1.2.3 湖倉融合是湖倉一體架構的未來
愛分析認為，數字化轉型時代，湖倉融合更能有效滿足企業對多元應用場景的複雜需求，成為湖倉一體架構的主流技術路線，具體原因如下：
1）湖倉融合在資料計算、資料管理、資料應用方面均有明顯優勢，更好地滿足企業資料資産統一管理需求
資料計算方面：湖倉融合路線真正實作基于一套資料的開發、計算和管理，徹底消除資料備援，在ACID事務性、存算分離、批流一體、實時分析等方面具有明顯優勢；
資料管理方面：以一套資料支援實作資料工程DataOps和先進資料管理理念Data Fabric；
資料應用方面：以一套資料支援BI、可視化、資料科學、機器學習等資料應用場景，實作多場景融合分析。
圖表8：湖上建倉、湖倉融合功能對比
2）湖倉融合降低資料遷移風險和成本，為大中型企業的數字化轉型提供成熟的解決方案
大中型企業在數字化轉型過程中，已經形成資料湖、資料倉庫、專用資料庫、雲存儲、大資料平台、流資料處理平台等多種系統并存的複雜架構。企業既有系統與業務深度融合、運作穩定，系統效能仍有潛在利用空間，企業希望既有建設成果繼續複用。湖上建倉需要企業将既有系統中的資料遷移進新資料湖，用新的湖倉引擎徹底替換掉既有的數倉和資料湖引擎，再基于湖倉一體實作資料的統一存儲、開發和管理。這不僅會帶來巨大的遷移成本以及資料遷移安全風險，也意味着企業需要摒棄舊有的資料倉庫、資料湖等架構，原有的架構效能将被浪費。
對比之下，湖倉融合能通過資料虛拟化以邏輯的方式實作對資料庫、資料倉庫、資料湖以及雲上資料的統一組織、管理和共享，降低資料遷移風險和遷移成本。
3）湖倉融合行業團體标準初步确立，市場定義和實踐路徑逐漸形成共識，加速湖倉融合商業化程序
中國資訊通信研究院已于2022年9月組織完成《雲原生湖倉一體資料平台技術要求》主體内容研制工作，明确湖倉一體的的五大能力域，為湖倉融合廠商和企業使用者評估湖倉融合平台産品的研發方向和技術能力提供評估标準。湖倉一體标準的确立将規範市場競争，加速湖倉融合商業化落地。
02 湖倉一體平台軟體市場規模
2.1 湖倉一體平台軟體定義
中國大資料IT投資包括硬體、軟體和服務三部分。軟體部分即指大資料平台軟體，根據引擎不同可将大資料平台軟體分為資料湖引擎和湖倉一體引擎。
本報告中，将基于湖倉一體引擎架構實作的大資料平台軟體定義為湖倉一體平台軟體。
2.2 中國湖倉一體平台軟體市場規模
圖表9：湖倉一體平台軟體市場規模及增速
愛分析測算，2022年湖倉一體平台軟體市場規模為15.2億元，未來三年複合增長率為86%，預計2025年市場規模将達到近100億元。
大資料平台軟體市場持續增長，湖倉一體引擎快速崛起。2022年起，國家層面先後釋出《關于建構資料基礎制度更好發揮資料要素作用的意見》、《全國一體化政務大資料體系建設指南》等檔案，企業對資料驅動、對資料價值的重視進入新高度，将推動大資料平台市場快速增長。根據IDC資料，中國大資料平台軟體市場2022-2026年複合增長率接近28%。而湖倉一體的複合增長率86%遠高大資料平台增長率，預示代表更先進技術能力的湖倉一體将迎來高速發展，湖倉一體将成為未來主流引擎。
企業原有大資料平台架構能力不足以滿足數字化時代企業需求，促使湖倉一體引擎的滲透速度加快。存量市場，湖倉融合的技術先進性決定了其能平滑替代企業資料倉庫架構、資料湖架構，不斷提升湖倉一體引擎在企業大資料平台的占比。增量市場，從資料管理成本和運維成本出發，很多企業更加願意直接采取湖倉一體引擎這樣的新大資料平台架構。
2.3 湖倉一體平台軟體廠商能力要求
信通院《雲原生湖倉一體資料平台技術要求》認為，雲原生湖倉一體平台能力劃分為湖倉資料內建、湖倉存儲、湖倉計算、湖倉資料治理以及湖倉其他能力等五大能力域，具備存算分離、存儲分級、彈性能力、多場景融合分析、多計算模式支援、統一進制資料管理等特征。
愛分析參考該要求，結合調研，對湖倉一體平台軟體廠商應具備的基礎能力進行提煉總結如下：
1）存算分離：具備存算分離技術，存儲資源和計算資源可各自獨立擴充、彈性管理、按需伸縮。
2）批流一體：支援批流一體，實作多模态資料融合實時分析，提高資料分析效率。
3）ACID事務性：具備完善的ACID事務機制，支援原子性、一緻性、隔離性、持久性，保障不同使用者在查詢和計算一份資料的一緻性。
4）中繼資料統一管理：基于中繼資料管理标準，對資料湖與資料倉庫的中繼資料進行統一采集，形成統一進制資料目錄。
5）多模資料存儲及存儲分級：平台支援HDFS檔案存儲和S3/OSS對象存儲，支援結構化、時序、文檔、圖像等多模資料存儲為統一湖表格式，可按需冷熱分級存儲，資料可在資料湖和資料倉庫之間自由流動。
6）支援多計算引擎：内置引擎路由的能力，支援離線計算引擎、實時計算引擎、互動式查詢引擎等多種引擎，并支援機器學習、深度學習架構，為資料內建和開發提供多種計算環境，供客戶按需選擇。
7）多場景融合分析：支援BI、可視化、資料科學、機器學習等應用場景分析。
8）DataOps：提供完善的軟體工程和資料管理元件和工具，軟體工程包括資料協作、資料開發、資料部署、編排、測試監控等，資料管理包括資料擷取、資料內建、資料準備、資料治理、資料模組化等，提高資料管理、資料應用、資料開發協作效率。
9）Data Fabric：支援通過資料虛拟化對分散的、多源的資料基礎架構資料進行邏輯統一管理，形成完備的資料資産，支援資料業務表達，将資料轉化為業務可了解的名額、标簽，滿足業務用數需求，加速資料價值挖掘。
2.4 湖倉一體平台軟體廠商全景圖
圖表10：湖倉一體平台軟體廠商全景圖
湖倉一體趨勢下，主流廠商紛紛推出湖倉一體産品或解決方案。主流廠商類型覆寫廣泛，涉及雲廠商、資料庫廠商、資料倉庫廠商、資料中台廠商、大資料基礎軟體廠商等。主流廠商的積極研發投入側面驗證了湖倉一體的趨勢和未來，但不同産品的實作路線（湖上建倉抑或是湖倉融合），産品的性能與穩定性以及解決方案的成熟性等均有待客戶和市場的長期檢驗。目前，各類型廠商在實作湖倉一體的路徑和行業布局上有較明顯差別：
1）雲廠商
實作路徑：基于自身IaaS雲基礎能力，建構雲生态或軟硬一體化的湖倉一體解決方案。
行業布局：依托于雲能力面向政府政務和網際網路企業提供湖倉解決方案，如華為側重政府政務，阿裡雲面向網際網路。
2）資料庫、資料倉庫廠商
實作路徑：以單一技術路線為主，在自身資料庫、資料倉庫的基礎上實作湖倉一體方案。
行業布局：優先在資料庫、資料倉庫的深入性行業如金融、政府提供服務。
3）資料中台服務商
實作路徑：在資料中台的計算引擎層提供湖倉一體架構，通過資料內建、資料開發、資料治理形成資料資産，為資料消費者提供結構化、非結構化湖倉資料。
行業布局：優先服務零售消費、先進制造、生物醫藥等新經濟行業的集團型企業以及部分金融企業。
4）大資料基礎軟體廠商
實作路徑：采用湖倉融合的技術架構，對資料存儲計算引擎進行獨立研發，相容上遊資料庫、資料湖與下遊資料中台應用系統，提供開放的湖倉一體引擎。例如KeenData Lakehouse湖倉一體基礎資料底座，一方面，面向上遊相容納管資料庫、資料倉庫、資料湖等多源異構系統；另一方面，面向下遊提供完善的基礎平台能力，如基于DataOps理念的資料工程體系支援資料低代碼開發；資料治理與資料工程融合可實作主動中繼資料探查、基于AI增強的資料血緣分析等主動實時的資料治理；以及基于資料虛拟化提供智能名額、智能标簽等資料業務表達能力。
行業布局：以獨立引擎提供相容性的湖倉能力，可在金融、政府、能源、零售、汽車等全行業實作落地。
2.5 湖倉一體平台軟體市場佔有率
圖表11：2022年湖倉一體平台軟體市場佔有率占比
2022年，在湖倉一體平台軟體市場中，科傑科技市場佔有率占比11.1%，位居第一。華為雲、星環科技市場佔有率占比分别為9.5%、7.3%，分别位列第二、第三。
科傑科技湖倉一體産品KeenData Lakehouse融合湖倉一體、DataOps、Data Fabric等理念，為企業提供覆寫資料生命周期的一站式資料底座平台搭建服務。科傑科技的服務範圍輻射國内以及亞太地區，覆寫金融、工業、能源、汽車、零售等衆多行業頭部客戶，如中國聯通、中國石化、中國一汽、國家電網、吉利汽車、中金公司、永旺集團等公司。
華為雲湖倉一體産品FusionInsight為客戶提供完整的大資料雲服務産品組合，基于雲計算軟硬一體優勢和專屬雲服務，FusionInsight已經廣泛應用于政務、金融、通信、交通等行業。
星環科技湖倉一體産品大資料基礎平台TDH具有雲原生、多模态異構存儲、1湖N倉多租戶體系、自主可控等特點，星環科技憑其高度獨立自主的特性，在信創領域如金融、政務積累豐富客戶。
2.6 代表廠商介紹
2.6.1 科傑科技
科傑科技是國内領先的大資料&AI技術創新公司，專注于提供複雜場景下大資料基礎軟體産品服務；核心技術團隊均來源于頭部網際網路企業的大資料基礎技術研究部門，緻力于通過基礎軟體能力的研發創新為企業提供資料存儲計算引擎、資料管理、開發挖掘、運維一體化的整套方案，助力企業快速建構資料能力，實作高度規範化、靈活化的資料工作協同與資料應用創新。
科傑科技核心産品湖倉一體資料智能平台 KeenData Lakehouse是基于雲原生技術自主研發的資料底座産品，提供端到端的一站式大資料基礎軟體解決方案，幫助企業實作IT到DT的轉型。産品應用了包括Data Fabric、Active Metadata Management、Data Mesh等在内的多項領先技術，融合了DataOps和Observability理念，将資料開發IDE化、流程化、協作化和自動化，同時産品工程化能力和治理能力相融合的設計能極大降低IT技術人員和半IT技術人員工程的難度，提高企業自治理能力。
圖表12：科傑科技湖倉一體資料智能平台 KeenData Lakehouse技術架構圖
2.6.2 Databricks
Databricks是一家全球領先的大資料公司，由Apache Spark、Delta Lake和MLflow的原始建立者于2013年成立。Databricks在雲上建立Lakehouse架構，結合了資料倉庫和資料湖，為資料和AI提供開放統一的平台。
Databricks 湖倉一體平台軟體包含Delta Lake、資料科學工作區、機器學習、SQL分析以及安全管理等核心功能。Delta Lake是開放格式的存儲層，能實作事務性和資料版本控制，形成統一進制資料目錄，将異常資料以統一的Parquet資料格式供各種API和引擎調用。資料科學工作區支援Notebook模組化，支援SQL、Spark任務開發。機器學習提供了一個內建的機器學習環境，為簡化ML開發流程提供資料工程能力，如資料探索、管理和治理、特征工程等。SQL分析使企業能在資料湖上運作資料倉庫負載。安全方面，Databricks 提供基于角色的通路控制。
圖表13：Databricks湖倉一體架構圖
Databricks與科傑科技采用相同的湖倉一體技術架構，兩者産品均覆寫存算分離、批流一體、ACID事務性、Data Fabric 等特性，差別在于Databricks充分利用雲生态工具，依賴雲服務的運維能力，支援客戶自定義豐富的場景建設和拓展，這點對于客戶要求比較高；科傑科技在企業級DataOps、Data Fabric的實踐落地上提供标準的能力和解決方案，客戶可以依托KeenData Lakehouse快速實作場景建構。
03 對湖倉一體廠商的建議
3.1 重點關注雲原生、DataOps和Data Fabric與湖倉一體平台的融合
3.1.1 雲原生技術能夠極大釋放湖倉一體平台的價值
雲原生是一套全新的IT技術體系，包括容器、Kubernetes、微服務、服務網格、DevOps、可觀測等關鍵技術。愛分析認為，雲原生技術具有松耦合、自動化、彈性排程、按需配置設定計算資源、容錯性高等特點，能夠極大程度釋放湖倉一體平台的價值，具體原因如下：
1）核心關鍵元件容器化封裝，提升部署傳遞效率，能夠更加靈活地滿足不同企業的業務需求。
2）存算分離降低資料存儲成本，提升資料計算效率。
3）自動化編排排程，降低湖倉一體平台的運維成本。
3.1.2 DataOps、Data Fabric能夠放大湖倉一體平台的應用價值，提升湖倉一體平台的競争優勢
數字化時代，企業IT部門需要滿足業務部門日益增長的資料消費需求，建立長期高效的資料營運體系至關重要，DataOps和Data Fabric都是解決上述問題的實踐方法。
DataOps是先進的資料工程理念，覆寫資料擷取、資料內建、資料準備、資料治理、資料分析與模組化等全流程，提供資料協作、資料開發、資料部署、編排、測試與監控等功能，能大幅提升資料開發管理效率。
Data Fabric作為前沿的資料管理理念，能實作主動實時的資料治理，改變企業傳統、被動的資料集中管控、集中治理的局面，如Data Fabric的中繼資料主動發現功能可以自動檢測到資料源的變化，并通知到下遊使用資料的算法和模型，或是提前判斷資料的可預測性錯誤予以警告，加強湖倉一體中的資料标準、主資料管理、資料品質、資料資産目錄等功能。
尤其湖倉融合已經基于資料虛拟化技術實作異構系統資料集合，以及全量資料模組化、資料治理等功能，是Data Fabric理念的階段性落地，未來，湖倉融合将推動Data Fabric技術在企業内的快速落地應用。
3.2 重點布局金融，關注工業、交通等潛力行業
金融業湖倉一體架構滲透加快，其他行業認知待提高。金融行業對多源實時資料分析場景需求強烈，如智能營銷、智能風控、客戶行為等的實時分析。金融行業的數字化轉型程序領先，是以也是各行業中率先實作湖倉一體落地的行業。目前金融行業的湖倉一體建設程序從國有商業銀行向股份制商業銀行、地方性商業銀行滲透，以中國銀行、中國建設銀行、光大銀行為代表的大型商業銀行已經完成湖倉一體平台搭建，中小型城商行也紛紛開展資料架構更新，采納并建設湖倉一體架構。金融業湖倉一體架構價值已經獲得驗證，在行業标杆影響下，未來3-5年，金融業的湖倉一體架建構設将保持高速發展趨勢。
其他行業如工業、交通、政務、零售等行業因數字化建設程序稍落後于金融行業，未來2-5年将迎來需求爆發。
工業企業湖倉一體需求明晰。在IoT環境下工業企業資料體量大且持續增長，企業自身資料化水準低造成資料采集彙聚困難、資料治理水準低、資料使用率低、資料流通共享難度大等問題。同時激烈競争環境下工業企業對實時資料分析需求快速增長，如生産過程實時監控，客戶需求實時預測等。湖倉一體的資料融合、存算分離、批流一體等特點将為企業落地工業網際網路提供簡單、便捷的解決方案。在工業網際網路落地推廣趨勢下，愛分析預測，工業企業對湖倉一體的需求将在2-3年内爆發。
交通領域頭部企業湖倉一體架構需求強烈。智慧交通趨勢下，大型交通企業已啟動建設跨地域的統一協同指揮排程雲平台，以支援應急管理、實時指揮排程等。為實作平台建設，需要整合運管、公管、鐵路、航空，以及交警、旅遊、氣象等多源資料進行融合、實時計算。湖倉一體契合交通企業需求，将加快在交通領域的落地速度。愛分析預測，交通領域實作大規模湖倉一體落地需要3-5年。