(報告出品方/作者:華福證券,錢勁宇)
核心觀點:
資料庫應用的發展趨勢:混合事務分析處理(HTAP) 針對OLTP和OLAP單獨的資料應用需求,如果由各自專有系統處理,一般來說性能将比混合通用系統性能高 一到兩個數量級,但未來整合的趨勢更明顯,客戶需要可以滿足混合需求的通用系統,HTAP基于一體化架構 高度融合,在事務支援和資料時效上更有保證,同時減少專有系統資料遷移處理下的同步成本。資料庫架構的發展趨勢:分布式架構 分布式資料庫繼承了傳統單機資料庫的核心特性,同時還擁有分布式系統的處理能力,具有可水準擴充、高 性能、高可用、混合負載、更安全等優點。原生分布式架構資料庫直接改變底層結構,是以性能不受底層數 據庫制約,也天然契合雲原生理念。
1、資料庫行業介紹及發展趨勢
資料庫基本概念及分類
資料庫(DBS)是一個按資料結構來存儲和管理資料的 計算機軟體系統。 資料庫管理系統(DBMS)是資料庫系統(DBS)的核心組 成部分,主要完成對資料庫的操作與管理功能,實作 資料庫對象的建立、資料庫存儲資料的查詢、添加、 修改與删除操作和資料庫的使用者管理、權限管理等。
NoSQL資料庫是對關系型資料庫的有益補充
關系型資料庫的不足:高并發讀寫性能低:關系型資料庫的性能和通路承載能力,在面向單一資料節點的企業級應用時代無可挑 剔。但随着資料量和節點急劇提升,已很難繼續支撐巨大的規模系統,甚至成為應用系統的瓶頸;不适合儲存半結構和非結構類型資料:二維表格資料模型不能有效地處理多元資料,不能有效處理網際網路 應用中半結構化和非結構化的海量資料,如Web頁面、電子郵件、音頻、視訊等;容量有限:當一個應用系統的使用者量和通路量與日俱增的時候,傳統的關系型資料庫卻沒有辦法簡單地通 過添加更多的硬體和服務節點來擴充性能和負載能力。
NewSQL內建了NoSQL和關系型資料庫的優點
資料庫誕生于20C60s,前後經曆了網狀資料庫、層次資料庫、關系型資料庫、雲資料庫、雲原生資料庫。網狀資料庫:1964年,通用電氣公司釋出世界上第一個網狀資料庫系統IDS(Integrated Data Storage集 成資料存儲),IDS是網狀資料庫,奠定了資料庫發展的基礎。層次資料庫:1968年,IBM釋出世界上第一個層次資料庫系統IMS(Information Management System 資訊管理系統),是第一個大型商用的資料庫系統。關系型資料庫:1978年,第一個關系型資料庫Oracle 1.0 誕生,後續幾十年中關系型資料庫一直占據市 場主導地位,直至移動網際網路時代到來。NoSQL資料庫:随着WEB 2.0網站興起,NoSQL資料庫應運而生,解決了大規模資料集合和多種資料類 型的處理挑戰。
資料庫應用的發展趨勢:混合事務分析處理(HTAP)
2014年,Gartner提出 HTAP(Hybrid Transaction/Analytical Processing)混合事務分析處理的概念。 HTAP基于一體化架構,是高度融合的一個系統,在技術上更難,但對事務的支援和資料的時效上更有保證 ,同時減少資料在鍊條流動存在的多份資料備援儲存的負擔,節省了技術、人力、時間和資料同步成本。 而如果用“OLTP+OLAP”模式,兩套系統讓遷移适配成本大幅上升,且為系統後續的開發和運維帶來難處 ,同時也沒法保證對事務的支援能力和資料的時效。OLAP本身不生産資料,需通過對OLTP操作資料的轉 化清洗遷移後,才可以進行專題需求分析。
資料庫架構:從單機到分布式資料庫
從早期的單機關系型資料庫到NoSQL再到如今的NewSQL,資料庫領域不管是場景還是技術都發生了巨大 的變化。在當下雲原生時代,任何軟體系統擁有分布式能力似乎成了标配。分布式資料庫繼承了傳統單機資料庫的核心特性,同時還擁有分布式系統的處理能力。分布式資料庫可水準擴充、高性能、高可用、混合負載、更安全。
資料庫架構:分布式架構的三條技術路線
1、 分布式中間件+單機資料庫:通過資料在邏輯層的線性切割 實作性能和存儲容量的擴充,但能力受單機資料庫自身制約。且 移動擴充困難、資料遷移困難、運維難度高。 2、 分布式存儲:大部分公有雲資料庫都屬此類,以共享存儲和 非對稱計算節點實作資料一緻性和讀寫分流,有限解決了擴充性 問題。如GaussDB(for MySQL)、TDSQL-C、SequoiaDB等。3、 原生分布式資料庫:各計算 節點提供對等的讀寫服務,TiDB 、OceanBase、ZNBase等。
資料庫部署:從本地到雲部署
據Gartner 2021年資料庫産品提供商排名,Microsoft 憑借雲資料庫的後發優勢,搶占了Oracle占據十年 的榜首,前十名中有四家以雲服務為主的企業,分别為 Microsoft/Amazon/Google/阿裡雲。Gartner預 測到2023年,全球75%的資料庫将完成雲平台的遷徙,僅有 5%的資料保持在原本的本地部署。 據中國信通院,2020 年中國公有雲資料庫市場規模為 107.68 億元,後續5年公有雲資料庫市場年複合增長 率将達到36.1%,預計到2025年,中國公有雲資料庫市場總規模将達到 503.31 億元。
2、國外資料庫市場主要玩家
Microsoft:2020-2021蟬聯資料庫市場佔有率榜首
1、Access:1992年推出的Access與專業資料庫比簡單易用,但它又隻支援有限的使用範圍。從2013年起, Access就已不再推新并不斷削減功能,如dBASE導入舊格式功能、資料遷移至SQL Server的更新向導等; 2、SQL Server:至今為止已釋出30+個版本,最新的Microsoft SQL Server 2019具有三大特性:核心引擎:SQL Server是HTAP混合負載能力的行業引領者,早在2017年的版本中就已實作了在單一引擎 中對 OLTP 和 OLAP 工作負載的同時支撐;資料虛拟化:為維護在企業整體架構中的核心地位,資料庫必須支援多模型多範式,針對客觀存在的異構 資料源,在傳統建立ETL通道外,資料虛拟化是更先進的理念。
Amazon:雲原生資料庫鼻祖
從雲資料庫到雲原生資料庫:近幾年随着雲基礎設施的高速發展,同時具有按需擴充、按需付費優異特性的 雲資料庫獲得中小企業及網際網路客戶的青睐。然後雲資料庫本質不是針對雲場景或雲環境來設計或建構的, 隻是用到了雲的資源,是以存在一些天然的問題,比如存儲空間浪費、計算資源浪費、較大的恢複時間目标 和資料滞後、系統性能受限、網絡帶寬消耗大等,進而限制了業務發展。雲原生資料庫應運而生。
Oracle:關系型資料庫巨頭
1970年,IBM研究員發表論文提出關系資料模型的概念,奠定了關系資料模型的理論基礎。1978年,Larry Ellison在為中情局做資料項目時發現了關系資料庫的商機。同年Oracle1.0誕生,Oracle 成為第一家銷售RDBMS軟體的公司,在1982年一年内年收入就達到250萬美元。
IBM:傳統巨頭經久不衰
在傳統資料庫領域,海外廠商起步較早,包括 Oracle、IBM、Microsoft 等,通過早期不斷的技術積累和産品 疊代主導了傳統資料庫市場,具有先發優勢。IBM 在1973年就啟動 SystemR 項目來研發關系型資料庫, 1983年釋出商業版資料庫 DB2。DB2代表了一組完整的資料管理系統,包括可在雲環境中使用的伺服器。早 期 DB2 支援關系資料庫模型,但現在很多産品已經擴充為支援關系和非關系結構。IBM 在2019年為 DB2 制 定的目标是成為幫助增強認知應用程的人工智能資料庫,在資料庫産品中融入 AI 功能,幫助使用者跨本地和多 雲環境實作結構化資料和非結構化資料管理,并加速他們的 AI 應用程式開發。Gartner 在2021年雲資料庫管 理系統魔力象限中再次将 IBM 提名為上司者。
Snowflake:雲原生時代下的獨立廠商
雲原生時代下,大資料的爆發帶來多元化需求,傳統資料庫廠商難以滿足各類複雜場景下的業務需求,一 大批獨立廠商、初創廠商快速崛起。獨立廠商 Snowflake 于2012年成立,專注于資料倉庫的開發,主要 應用于分析類場景。Snowflake 雲資料平台基于公有雲實作智能基礎設施、産品彈性和優化的存儲。核心 産品資料倉庫建立在雲原生構架上,創造存儲、計算以及管理服務分離的架構,擺脫了傳統大廠數倉架構 帶來的局限性,能夠滿足客戶對資料倉庫并發性、易用性、擴充性的訴求,確定客戶在各種分析場景下安 全通路資料,同時支援在 Amazon AWS、Microsoft Azure、Google Cloud 三大公有雲進行靈活部署, 符合未來多雲部署的發展趨勢。
3、國内資料庫市場及競争格局
中國資料庫市場規模及增速
中國信通院測算,2020 年全球資料庫市場規模671億美元,其中中國資料庫市場占全球 5.2%,約35億美 元。 預計到 2025年,全球資料庫市場規模将達到798億美元。中國 IT 總支出在全球占比為12.3%。 預計2025年中國資料庫市場在全球的占比接近中國IT支出在全球的占比,是以2025年中國資料庫市場總規 模将達到 688 億元,年複合增長率(CAGR) 23.4%。
國産資料庫市占率持續擴大
根據 IDC 資料,2021年下半年國内資料庫廠商在關系型資料庫市場的市占率繼續擴大。其中公有雲模式 市場前五有三家國内廠商,兩家海外廠商份額均下降,騰訊、華為市場佔有率都擴大。在本地部署模式市場 ,國内廠商正在快速追趕 Oracle、IBM 等海外廠商。達夢市場佔有率擴大接近一倍;人大金倉過去一年在 政府行業獲得大量訂單;華為在政企、金融行業也獲得突破。總體國内廠商的份額不斷擴大。 國内,達夢、人大金倉等是老牌資料庫廠商,PingCAP 是初創廠商代表,憑借開源資料庫TiDB在市場中 占據一定份額。國内阿裡雲OceanBase和PolarDB,華為雲openGauss 和GaussDB則紛紛乘雲而上。
PingCAP:不同于老牌廠商的定位
受到國産替代化的影響,PingCAP、Sequoia、易鲸捷等 初創廠商紛紛湧入資料庫市場,國産廠商陣營日漸強大。 2022年,PingCAP 入選 Gartner 雲資料庫領域的 Peer Insights“Voice of the Customer”,成為唯一入選的中 國企業級開源分布式資料庫廠商,并在 Strong Performer 象限位列第一。公司旗下的 TiDB 資料庫獲得 94% 全球用 戶的高度認可。
阿裡:OceanBase&PolarDB
OceanBase 是全球唯一在 TPC-C 和 TPC-H 測試上都重新整理了世界紀錄的國産原生分布式資料庫,實作 100%自研,沒有基于任何開源資料庫子產品,兼顧分布式架構的擴充性與集中式架構的性能優勢,用一套 引擎同時支援 OLTP 和 OLAP 的混合負載,具備資料強一緻、高擴充、高可用、高成本效益、高度相容 Oracle/MySQL、穩定可靠等特征,不斷用技術降低企業使用資料庫的門檻。OceanBase 經曆開源到閉 源,2021年6月再次開源,以開放化的方式讓軟體本身和上下遊技術以及應用生态對接,共建分布式數 據庫的未來。
報告節選:
(本文僅供參考,不代表我們的任何投資建議。如需使用相關資訊,請參閱報告原文。)
精選報告來源:【未來智庫】