天天看點

資料庫行業發展研究報告

(報告出品方/作者:華福證券,錢勁宇)

核心觀點:

資料庫應用的發展趨勢:混合事務分析處理(HTAP) 針對OLTP和OLAP單獨的資料應用需求,如果由各自專有系統處理,一般來說性能将比混合通用系統性能高 一到兩個數量級,但未來整合的趨勢更明顯,客戶需要可以滿足混合需求的通用系統,HTAP基于一體化架構 高度融合,在事務支援和資料時效上更有保證,同時減少專有系統資料遷移處理下的同步成本。資料庫架構的發展趨勢:分布式架構 分布式資料庫繼承了傳統單機資料庫的核心特性,同時還擁有分布式系統的處理能力,具有可水準擴充、高 性能、高可用、混合負載、更安全等優點。原生分布式架構資料庫直接改變底層結構,是以性能不受底層數 據庫制約,也天然契合雲原生理念。

1、資料庫行業介紹及發展趨勢

資料庫基本概念及分類

資料庫(DBS)是一個按資料結構來存儲和管理資料的 計算機軟體系統。 資料庫管理系統(DBMS)是資料庫系統(DBS)的核心組 成部分,主要完成對資料庫的操作與管理功能,實作 資料庫對象的建立、資料庫存儲資料的查詢、添加、 修改與删除操作和資料庫的使用者管理、權限管理等。

NoSQL資料庫是對關系型資料庫的有益補充

關系型資料庫的不足:高并發讀寫性能低:關系型資料庫的性能和通路承載能力,在面向單一資料節點的企業級應用時代無可挑 剔。但随着資料量和節點急劇提升,已很難繼續支撐巨大的規模系統,甚至成為應用系統的瓶頸;不适合儲存半結構和非結構類型資料:二維表格資料模型不能有效地處理多元資料,不能有效處理網際網路 應用中半結構化和非結構化的海量資料,如Web頁面、電子郵件、音頻、視訊等;容量有限:當一個應用系統的使用者量和通路量與日俱增的時候,傳統的關系型資料庫卻沒有辦法簡單地通 過添加更多的硬體和服務節點來擴充性能和負載能力。

NewSQL內建了NoSQL和關系型資料庫的優點

資料庫誕生于20C60s,前後經曆了網狀資料庫、層次資料庫、關系型資料庫、雲資料庫、雲原生資料庫。網狀資料庫:1964年,通用電氣公司釋出世界上第一個網狀資料庫系統IDS(Integrated Data Storage集 成資料存儲),IDS是網狀資料庫,奠定了資料庫發展的基礎。層次資料庫:1968年,IBM釋出世界上第一個層次資料庫系統IMS(Information Management System 資訊管理系統),是第一個大型商用的資料庫系統。關系型資料庫:1978年,第一個關系型資料庫Oracle 1.0 誕生,後續幾十年中關系型資料庫一直占據市 場主導地位,直至移動網際網路時代到來。NoSQL資料庫:随着WEB 2.0網站興起,NoSQL資料庫應運而生,解決了大規模資料集合和多種資料類 型的處理挑戰。

資料庫應用的發展趨勢:混合事務分析處理(HTAP)

2014年,Gartner提出 HTAP(Hybrid Transaction/Analytical Processing)混合事務分析處理的概念。 HTAP基于一體化架構,是高度融合的一個系統,在技術上更難,但對事務的支援和資料的時效上更有保證 ,同時減少資料在鍊條流動存在的多份資料備援儲存的負擔,節省了技術、人力、時間和資料同步成本。 而如果用“OLTP+OLAP”模式,兩套系統讓遷移适配成本大幅上升,且為系統後續的開發和運維帶來難處 ,同時也沒法保證對事務的支援能力和資料的時效。OLAP本身不生産資料,需通過對OLTP操作資料的轉 化清洗遷移後,才可以進行專題需求分析。

資料庫架構:從單機到分布式資料庫

從早期的單機關系型資料庫到NoSQL再到如今的NewSQL,資料庫領域不管是場景還是技術都發生了巨大 的變化。在當下雲原生時代,任何軟體系統擁有分布式能力似乎成了标配。分布式資料庫繼承了傳統單機資料庫的核心特性,同時還擁有分布式系統的處理能力。分布式資料庫可水準擴充、高性能、高可用、混合負載、更安全。

資料庫架構:分布式架構的三條技術路線

1、 分布式中間件+單機資料庫:通過資料在邏輯層的線性切割 實作性能和存儲容量的擴充,但能力受單機資料庫自身制約。且 移動擴充困難、資料遷移困難、運維難度高。 2、 分布式存儲:大部分公有雲資料庫都屬此類,以共享存儲和 非對稱計算節點實作資料一緻性和讀寫分流,有限解決了擴充性 問題。如GaussDB(for MySQL)、TDSQL-C、SequoiaDB等。3、 原生分布式資料庫:各計算 節點提供對等的讀寫服務,TiDB 、OceanBase、ZNBase等。

資料庫部署:從本地到雲部署

據Gartner 2021年資料庫産品提供商排名,Microsoft 憑借雲資料庫的後發優勢,搶占了Oracle占據十年 的榜首,前十名中有四家以雲服務為主的企業,分别為 Microsoft/Amazon/Google/阿裡雲。Gartner預 測到2023年,全球75%的資料庫将完成雲平台的遷徙,僅有 5%的資料保持在原本的本地部署。 據中國信通院,2020 年中國公有雲資料庫市場規模為 107.68 億元,後續5年公有雲資料庫市場年複合增長 率将達到36.1%,預計到2025年,中國公有雲資料庫市場總規模将達到 503.31 億元。

2、國外資料庫市場主要玩家

Microsoft:2020-2021蟬聯資料庫市場佔有率榜首

1、Access:1992年推出的Access與專業資料庫比簡單易用,但它又隻支援有限的使用範圍。從2013年起, Access就已不再推新并不斷削減功能,如dBASE導入舊格式功能、資料遷移至SQL Server的更新向導等; 2、SQL Server:至今為止已釋出30+個版本,最新的Microsoft SQL Server 2019具有三大特性:核心引擎:SQL Server是HTAP混合負載能力的行業引領者,早在2017年的版本中就已實作了在單一引擎 中對 OLTP 和 OLAP 工作負載的同時支撐;資料虛拟化:為維護在企業整體架構中的核心地位,資料庫必須支援多模型多範式,針對客觀存在的異構 資料源,在傳統建立ETL通道外,資料虛拟化是更先進的理念。

Amazon:雲原生資料庫鼻祖

從雲資料庫到雲原生資料庫:近幾年随着雲基礎設施的高速發展,同時具有按需擴充、按需付費優異特性的 雲資料庫獲得中小企業及網際網路客戶的青睐。然後雲資料庫本質不是針對雲場景或雲環境來設計或建構的, 隻是用到了雲的資源,是以存在一些天然的問題,比如存儲空間浪費、計算資源浪費、較大的恢複時間目标 和資料滞後、系統性能受限、網絡帶寬消耗大等,進而限制了業務發展。雲原生資料庫應運而生。

Oracle:關系型資料庫巨頭

1970年,IBM研究員發表論文提出關系資料模型的概念,奠定了關系資料模型的理論基礎。1978年,Larry Ellison在為中情局做資料項目時發現了關系資料庫的商機。同年Oracle1.0誕生,Oracle 成為第一家銷售RDBMS軟體的公司,在1982年一年内年收入就達到250萬美元。

IBM:傳統巨頭經久不衰

在傳統資料庫領域,海外廠商起步較早,包括 Oracle、IBM、Microsoft 等,通過早期不斷的技術積累和産品 疊代主導了傳統資料庫市場,具有先發優勢。IBM 在1973年就啟動 SystemR 項目來研發關系型資料庫, 1983年釋出商業版資料庫 DB2。DB2代表了一組完整的資料管理系統,包括可在雲環境中使用的伺服器。早 期 DB2 支援關系資料庫模型,但現在很多産品已經擴充為支援關系和非關系結構。IBM 在2019年為 DB2 制 定的目标是成為幫助增強認知應用程的人工智能資料庫,在資料庫産品中融入 AI 功能,幫助使用者跨本地和多 雲環境實作結構化資料和非結構化資料管理,并加速他們的 AI 應用程式開發。Gartner 在2021年雲資料庫管 理系統魔力象限中再次将 IBM 提名為上司者。

Snowflake:雲原生時代下的獨立廠商

雲原生時代下,大資料的爆發帶來多元化需求,傳統資料庫廠商難以滿足各類複雜場景下的業務需求,一 大批獨立廠商、初創廠商快速崛起。獨立廠商 Snowflake 于2012年成立,專注于資料倉庫的開發,主要 應用于分析類場景。Snowflake 雲資料平台基于公有雲實作智能基礎設施、産品彈性和優化的存儲。核心 産品資料倉庫建立在雲原生構架上,創造存儲、計算以及管理服務分離的架構,擺脫了傳統大廠數倉架構 帶來的局限性,能夠滿足客戶對資料倉庫并發性、易用性、擴充性的訴求,確定客戶在各種分析場景下安 全通路資料,同時支援在 Amazon AWS、Microsoft Azure、Google Cloud 三大公有雲進行靈活部署, 符合未來多雲部署的發展趨勢。

3、國内資料庫市場及競争格局

中國資料庫市場規模及增速

中國信通院測算,2020 年全球資料庫市場規模671億美元,其中中國資料庫市場占全球 5.2%,約35億美 元。 預計到 2025年,全球資料庫市場規模将達到798億美元。中國 IT 總支出在全球占比為12.3%。 預計2025年中國資料庫市場在全球的占比接近中國IT支出在全球的占比,是以2025年中國資料庫市場總規 模将達到 688 億元,年複合增長率(CAGR) 23.4%。

國産資料庫市占率持續擴大

根據 IDC 資料,2021年下半年國内資料庫廠商在關系型資料庫市場的市占率繼續擴大。其中公有雲模式 市場前五有三家國内廠商,兩家海外廠商份額均下降,騰訊、華為市場佔有率都擴大。在本地部署模式市場 ,國内廠商正在快速追趕 Oracle、IBM 等海外廠商。達夢市場佔有率擴大接近一倍;人大金倉過去一年在 政府行業獲得大量訂單;華為在政企、金融行業也獲得突破。總體國内廠商的份額不斷擴大。 國内,達夢、人大金倉等是老牌資料庫廠商,PingCAP 是初創廠商代表,憑借開源資料庫TiDB在市場中 占據一定份額。國内阿裡雲OceanBase和PolarDB,華為雲openGauss 和GaussDB則紛紛乘雲而上。

PingCAP:不同于老牌廠商的定位

受到國産替代化的影響,PingCAP、Sequoia、易鲸捷等 初創廠商紛紛湧入資料庫市場,國産廠商陣營日漸強大。 2022年,PingCAP 入選 Gartner 雲資料庫領域的 Peer Insights“Voice of the Customer”,成為唯一入選的中 國企業級開源分布式資料庫廠商,并在 Strong Performer 象限位列第一。公司旗下的 TiDB 資料庫獲得 94% 全球用 戶的高度認可。

阿裡:OceanBase&PolarDB

OceanBase 是全球唯一在 TPC-C 和 TPC-H 測試上都重新整理了世界紀錄的國産原生分布式資料庫,實作 100%自研,沒有基于任何開源資料庫子產品,兼顧分布式架構的擴充性與集中式架構的性能優勢,用一套 引擎同時支援 OLTP 和 OLAP 的混合負載,具備資料強一緻、高擴充、高可用、高成本效益、高度相容 Oracle/MySQL、穩定可靠等特征,不斷用技術降低企業使用資料庫的門檻。OceanBase 經曆開源到閉 源,2021年6月再次開源,以開放化的方式讓軟體本身和上下遊技術以及應用生态對接,共建分布式數 據庫的未來。

報告節選:

資料庫行業發展研究報告
資料庫行業發展研究報告
資料庫行業發展研究報告
資料庫行業發展研究報告
資料庫行業發展研究報告
資料庫行業發展研究報告
資料庫行業發展研究報告
資料庫行業發展研究報告
資料庫行業發展研究報告
資料庫行業發展研究報告
資料庫行業發展研究報告
資料庫行業發展研究報告
資料庫行業發展研究報告
資料庫行業發展研究報告
資料庫行業發展研究報告
資料庫行業發展研究報告
資料庫行業發展研究報告
資料庫行業發展研究報告
資料庫行業發展研究報告
資料庫行業發展研究報告
資料庫行業發展研究報告
資料庫行業發展研究報告
資料庫行業發展研究報告
資料庫行業發展研究報告
資料庫行業發展研究報告
資料庫行業發展研究報告
資料庫行業發展研究報告
資料庫行業發展研究報告
資料庫行業發展研究報告
資料庫行業發展研究報告
資料庫行業發展研究報告
資料庫行業發展研究報告

(本文僅供參考,不代表我們的任何投資建議。如需使用相關資訊,請參閱報告原文。)

精選報告來源:【未來智庫】

繼續閱讀