報告編委
黃勇
愛分析合夥人&首席分析師
洪逸群
愛分析進階分析師
張良筠
愛分析分析師
外部專家（按姓氏拼音排序）
李遠志
柏睿資料 副總裁
謝寅
鏡舟科技 資深解決方案架構師
許哲
中信建投證券 資料組VP
姚延棟
YMatrix 創始人＆CEO
張晨
創鄰科技 CEO
特别鳴謝（按拼音排序）
報告摘要
随着近幾年整個産業數字化程序的深入，資料庫的應用場景變得更多、更複雜，導緻資料庫需要應對相比以往急劇增長的資料規模，處理更加多樣的資料類型，以及具備更加複雜的場景化能力。
是以，近年來，高性能、非關系型資料支援、簡化使用和運維，場景化解決方案等能力成為企業應用資料庫的關鍵考量因素，多種新一代的資料庫也逐漸在企業中落地。
分析型資料庫釋放業務資料潛在價值
分析型資料庫作為資料基礎設施的核心，需要提供高效的資料查詢和計算服務支撐業務運轉。然而企業現有的大資料引擎逐漸暴露出了即席查詢不夠靈活、大資料量高并發響應慢、固定報表運算效率低下的性能缺陷。此外，多資料源存儲系統的分散獨立使得資料聯通查詢分析遇到困難。
針對現有資料分析引擎的性能缺陷和多資料源無法聯通的問題，分析型資料庫着重提升了即席查詢、大規模資料高并發查詢、固定報表運算效率，并且提供聯邦的功能支援跨多資料源進行查詢和分析，打破了企業資料孤島，釋放業務資料價值。
圖資料庫助力挖掘資料關聯關系
在進行業務資料分析時，識别資料間的關聯并對其特點進行研究是一項重要的工作，例如在社交網絡、金融風控、營銷等場景都需要從海量資料中發掘出單體之間的隐藏關系。但由于傳統的關系型資料庫對關聯關系的查詢能力有限，以及相關分析工具和解決方案的缺失，關聯關系的挖掘成為企業面臨的難題。
圖分析解決方案為了應對企業在資料關系探索上的難題，利用圖資料庫的存儲和關系計算能力，支援使用者使用圖算法對海量資料進行挖掘并對其關系特點進行分析。此外，知識圖譜平台具備圖譜建構和知識推理計算能力，将圖的關聯關系轉化為知識，實作業務洞察。
超融合資料庫支撐企業多元化業務快速發展
中大型企業在複雜多樣的業務場景中沉澱了海量資料，而且由于業務持續擴張增長的趨勢，企業需要不斷加強數字化基座的能力來比對海量資料規模和業務發展速度。然而企業現有的的資料庫承載資料類型有限并且性能表現不足，難以滿足企業對資料庫服務的需求。
為了解決在業務快速發展過程中遇到的承載資料類型限制和性能表現欠佳的問題，超融合資料庫部署了針對不同資料類型的專有引擎，技術架構的簡易化不會為企業增加過多的運維管理成本。同時，超融合資料庫具備與常見的專用資料庫或大資料引擎同等或更好的性能表現。
目錄
1. 報告綜述
2. 分析型資料庫
3. 圖資料庫
4. 超融合資料庫
5. 結語
1. 報告綜述
作為承載各類資料存儲和處理需求的基礎設施，資料庫在企業數字化轉型的過程中起到了關鍵的支撐作用。但随着近幾年産業數字化程序的深入，資料庫的應用場景比以往更多、更複雜，導緻資料庫需要應對以下幾點關鍵變化和挑戰。
首先，企業内的資料規模在急劇增長。無論是企業尋求通過數字化轉型實作資料驅動業務決策，還是一些新興行業企業業務的快速擴張，都讓企業的資料量從原先的幾十TB，迅速增長至幾百TB，甚至是PB級。然而傳統的資料庫在性能方面，很難應對如此大規模資料量的查詢分析。
其次，企業需要存儲和處理的資料類型變得更多樣。關系型資料占主導地位的時代已經過去，現在，企業在很多新興應用場景中為了提高資料存儲和分析效率，采用了新的資料模型。例如，營銷、風控中用于關聯關系分析的圖資料，制造業中用于記錄生産過程的時序資料，以及文檔、健值、GIS等各種資料模型。如何處理多種類型資料，成為企業在資料庫層面需要首先解決的問題。
最後，企業越來越需要資料庫具備場景化的解決方案。通常，企業已經建有一定的資料基礎設施，且不同行業企業的資料應用場景往往有一些特殊要求，為了減少資料遷移和加載，并加速資料分析，企業需要資料庫具備相應場景化的功能和解決方案。例如，在大資料量固定報表場景，企業需要資料庫具備預計算能力；在企業有多套業務系統需要聯合分析的場景，企業需要資料庫具備聯邦查詢能力；在工業企業需要不斷收集資料做預測性維護的場景，企業需要資料庫具備庫内機器學習的能力。
圖 1： 資料庫應用面臨的三大挑戰
面對這些變化和挑戰，資料庫業内一直在更新或推出新的資料庫産品，以滿足企業的需求。為了提升資料庫性能，企業可以采用基于分布式、記憶體存儲，以及多種技術優化的新一代資料庫；為了處理多種類型資料，企業可以選擇各種專用資料庫，如圖資料庫、時序資料庫、搜尋引擎等，而當企業部署了多套資料庫系統，運維難度大，且又需要做聯合分析時，在核心層融合多類型資料處理能力的超融合資料庫，則是最佳選擇；為了實作場景解決方案，具備預計算、聯邦查詢、庫内機器學習等其中一種或多種能力的資料庫，逐漸成為企業重點關注的因素。
為了幫助企業更好地了解如何應用合适的資料庫解決企業面臨的這些普遍問題，本報告選取了分析型資料庫、圖資料庫和超融合資料庫市場的4個典型的資料庫應用案例，對每個案例中的企業需求、解決方案和落地效果進行詳細分析，并總結提煉案例背後展現的共性價值。
2.分析型資料庫
2.1分析型資料庫多方位優化性能，高效提供資料服務
在數字化轉型的驅動下，各行業均呈現出資料量爆發式增長、資料應用場景多樣化拓展的趨勢。面對海量資料，如何從中發掘出有效資訊來支援決策，成為企業業務運轉和實作轉型增長的關鍵。分析型資料庫作為資料基礎設施的核心，不僅要為各系統輸送資料查詢和分析的能力，而且要保證自身服務的高效性來滿足及時用數的需求。
然而，在業務場景不斷拓展、資料規模持續增長的壓力下，企業傳統使用的查詢分析引擎性能表現嚴重不足，無法支援實時業務決策，具體表現在：
- 即席查詢不夠靈活。在企業進行決策時，資料分析作為了解業務運轉情況的重要手段之一，需要通過多表關聯、自由組合查詢條件的方式對多元度名額進行上卷和下鑽探查。然而傳統的分析引擎在大資料量、複雜查詢的場景下逐漸無法适用，會出現響應慢，甚至無法擷取查詢結果的問題，不能夠很好地支援資料聚合計算、明細查詢等需求；
- 大資料量、高并發請求響應慢。随着資料查詢和分析的需求逐漸向業務端推進，業務人員也常常需要進行日常查詢操作來支撐實時決策。然而大型企業通常業務人員衆多，不免帶來同時間下多點并發查詢的請求，對資料庫造成性能壓力，引起響應延時的問題；
- 固定報表運算效率低下。除了自助分析之外，企業還需要通過固定報表了解關鍵名額的動态和趨勢。固定報表通常由多個SQL組成，涉及資料量大且計算次元多，容易造成資料庫計算效率低下的問題。
針對現有資料庫在性能上的欠缺，分析型資料庫廠商着重提升了即席查詢、大規模資料高并發執行、固定報表等方面的性能來滿足企業用數需求。具體從以下方面着手解決問題：
圖2: 優化分析型資料庫性能加速服務響應
- 優化在大資料量、多表關聯複雜計算的能力。分析型資料庫通過具備高效資料存取的全記憶體架構、查詢索引優化、多表連接配接優化等手段提升資料吞吐量和查詢計算效率，減少業務決策的停頓等待時間；
- 提升資料吞吐量、任務執行并發度。為了滿足大資料量、高并發的資料查詢請求，分析型資料庫通常采用分布式部署，利用大規模并行執行架構的優勢，配合均衡配置設定節點負載等手段提升資料吞吐量，使數 據庫具備多任務并發能力；
- 引入預計算加速固定查詢。在固定報表的場景下，分析型資料庫可以引入預計算能力，利用建構物化視圖的方式複用常見查詢，加速複雜SQL計算能力。
2.2高效聯通多資料系統，聯邦查詢跨源提供資料查詢
随着資料來源的拓展，以及資料存儲系統相對獨立，企業難以将多資料源進行打通，造成資料聯通查詢分析困難的問題。當分析人員需要結合其他業務資料或站在全局視角進行決策時，會遇到系統間資料流轉不暢、資料加工繁瑣、用數口徑不一緻等問題，難以保證決策的準确性。
此外，Hadoop大資料解決方案需要大量資料搬遷，将多源資料整合成内表進行統一查詢，企業在已經具備成熟的大資料存儲引擎的情況下通常進行大規模資料遷移的成本會很高。
圖3：聯邦功能跨多資料源查詢
針對企業多資料源的情況，一些分析型資料庫提供聯邦查詢的功能，支援查詢多源資料。外表聯邦查詢功能通過隻儲存表對應的中繼資料，并直接向所在資料源發起查詢，避開了資料遷移工作，并且實作了資料層面的整合分析。
同時，外表聯邦查詢功能支援包括MySQL、Elasticsearch、Hive、Iceberg在内的多個第三方資料源，并且可以滿足使用者對不同次元、不同層面聚合或明細查詢的多樣需求。
| 案例1：某國有商業銀行建構實時互動式資料分析平台，高效助力普惠金融業務 在銀行數字化轉型的過程中，客戶分析和精細化管理至關重要。在普惠金融業務中，如何對下沉的海量客戶建立數字普惠全景視圖，實作經營狀況及資産品質分析、客戶分析、産品分析、營銷分析等互動式資料分析能力，對于銀行普惠金融業務的開展起到了關鍵支撐作用。 某國有大型商業銀行充分利用征信、工商、納稅、電力、司法、結算、供應鍊、政務、采購平台、貸款資訊等行内外資料，将風險名額融入客戶多元畫像資訊，建立普惠金融營銷、準入、信用評價、授信、定價、貸後監測預警、催收等分析模型，實作關鍵業務名額實時報送，提供互動式資料分析。該平台對底層資料基礎設施的實時性、高并發、穩定性和可用性等能力都提出了更高的要求。具體而言，需要解決以下需求： 1）海量異構資料的實時查詢。面對多樣複雜的客戶畫像資料，資料庫作為支撐業務使用者日常線上使用的系統，需要能夠執行行内超過200個以上标簽動态組合以及5張表以上任意條件篩選群組合的複雜查詢，達到秒級響應時間； 2）支撐高并發業務查詢場景。該銀行總共有5萬多位客戶經理提供日常對公和對私的業務服務，會不免出現同時間下的多點資料查詢需求。是以，資料庫要能夠在高并發場景下及時響應來滿足精準營銷和信貸風控的業務需要； 3）能夠穩定可靠地對外提供資料服務，滿足系統可用性級别要求。金融行業對資料一緻性、系統的RPO和RTO名額、多資料中心等方面有嚴苛的要求，要保證資料不錯不漏、故障無損快速切換，提供多資料中心備災措施等。 基于分布式全記憶體資料庫RapidsDB建構資料分析平台 為了滿足以上性能及業務需求，該銀行将借助分布式記憶體計算技術提升資料庫分析性能，作為重點考察方向。柏睿資料分布式全記憶體資料庫RapidsDB在快速部署、叢集彈性、性能線性擴充、廣泛相容、異構資料支援、海量資料計算等多方面獲得行方的高度肯定，進而在行方同類資料庫産品選型中脫穎而出。 柏睿資料成立于 2014 年，是一家以資料庫為核心的“Data+AI〞資料智能基礎軟體公司，國内首家因突破資料庫核心技術而獲得國家級專精特新“小巨人”稱号的民營企業。柏睿資料作為國内掌握全記憶體資料庫引擎關鍵專利的企業，基于完全自主研發的全記憶體分布式資料庫産品體系和人工智能産品體系，打造軟硬一體化智能資料處理平台，其産品在算力性能、智能化、安全性、标準化等關鍵技術名額上均業界領先，已為金融、政務、能源、通信、醫療等衆多行業标杆客戶提供原創性數字化轉型技術産品服務。 圖4: 基于分布式全記憶體資料庫RapidsDB建構的實時互動式資料分析平台 柏睿分布式全記憶體資料庫RapidsDB在該行的普惠金融業務場景中代替了原有的“Oracle + ElasticSearch”複雜技術棧，實作極速性能提升，而且保證了金融級别的穩定可靠和高可用性。 為了解決海量使用者資料實時查詢的性能問題，RapidsDB采用全記憶體架構避開了磁盤通路I/O，達到更快的查詢速度；在多表關聯場景下，柏睿通過動态查詢優化、索引使用優化、join連接配接優化實作了多表關聯場景中更強的性能表現，達到複雜查詢的即時響應能力。 為了支撐上萬名業務經理高并發的查詢需求。RapidsDB采用分布式架構，通過動态擴充應對任務執行量的增長，并且配合查詢優化器均衡配置設定節點負載。同時，RapidsDB通過資料結構無鎖化實作了最大程度的并發能力。 針對金融級資料可靠性和可用性的要求，首先，RapidsDB在記憶體存儲之外還通過事務日志和定期快照不斷地将資料備份到磁盤，實作資料庫記憶體與持久化存儲，如Flash、SSD、HD等，協同工作來確定資料無丢失風險。其次，在叢集内部可用性方面，資料節點通過成對的配置在彼此之間共享資料副本，保持資料實時同步。主備節點均可對外提供服務，如果出現任何葉的故障，RapidsDB将自動切換副本分區。在節點出現故障的情況下，RapidsDB通過将适當的副本分區更新為主分區來轉移節點故障，以便資料庫保持線上。在滿足叢集内高可用的基礎上，RapidsDB還實作了跨機房資料和系統服務的高可用，支援“同城雙中心”、“兩地三中心”、“三地五中心”等金融級别的災備方案，在系統本身發生故障、應用層報錯、網絡錯誤、人為錯誤等情形下，資料庫系統均能保障良好的高可用性。 基于RapidsDB資料庫的資料分析平台落地後的價值與效果 第一， 通過RapidsDB在大規模異構資料場景下的高性能表現，滿足了該銀行對多表關聯複雜查詢的需求。實作了1100億行資料、40TB大資料量下的實時查詢，支援前端SQL條件靈活組合、最多15個表join的多表複雜查詢。 第二， RapidsDB支撐了全銀行5萬名客戶經理的日常查詢服務，具備典型情況下上百個并發查詢和極端情況下4000多個并發查詢的能力，能夠充分應對業務多點并發的讀取請求，達到平均3.6秒的響應時間。 第三， RapidsDB能夠穩定可靠地運作，提供99.999%高可用的資料服務，滿足金融行業對資料庫的嚴苛要求，有效支撐了該銀行普惠金融業務的快速發展。 項目經驗總結 該銀行的資料分析平台成功上線以來，柏睿資料RapidsDB分布式全記憶體資料庫展現了出色的性能和穩定性來支撐該銀行普惠金融業務的轉型更新。該項目的成功落地為同類型業務或者相似規模的企業提供了以下分析型資料庫的使用建議： 1）在類似普惠金融擁有海量多元化資料沉澱，并且要求高實時性查詢的業務場景中，全記憶體資料庫因為運作時不需要将資料同步到實體磁盤，進而避免了磁盤I/O限制對系統性能的影響并且減少了系統維護的工作量，是以被該類型業務場景所青睐。是以，對于資料存取效率要求較高的系統，全記憶體資料庫可以比主要利用磁盤存取的資料庫發揮更大的性能作用。 2）在類似國有銀行員工數量衆多、内部組織架構複雜的大型企業中，通常有大量業務人員同時進行日常查詢操作來保證業務正常運轉。是以，分析型資料庫需要具備分布式相關技術，通過動态擴充和平衡配置設定任務量支援多點并發的任務請求，保證同一時間下查詢的及時響應。 |
| 案例2：中信建投基于分析型資料庫建構統一查詢服務平台，滿足企業大規模用數需求 中信建投證券（簡稱“中信建投”）是經中國證監會準許設立的全國性大型綜合證券公司，其在企業融資、收購兼并、證券經紀、資産管理、股票及衍生品交易等領域形成了自身特色和核心業務優勢，并搭建了研究咨詢、資訊技術、營運管理、風險管理、合規管理等專業高效的業務支援體系。目前，中信建投擁有超過1,000萬證券經紀業務客戶，托管證券市值超過5.5萬億元，位居行業第2名。 近年來，在證券服務逐漸網際網路化，以及券商牌照紅利逐漸消退的行業背景下，中信建投不斷加大對數字化的投入，尤其重視資料基礎設施的建設，期望在客戶服務、經營管理等多方面由經驗依賴向資料驅動轉變，進而提高服務水準和決策效率。是以，在公司總部和各分支機構，包括經紀、資管、投行等業務部門，以及稽核、審計、财務、法務等職能部門，對自助分析、多元分析、固定報表和API資料服務等形式的用數需求一直在不斷增長。 為了推動整體數字化建設和資料治理工作，中信建投已經在2019年搭建了基于Hadoop體系的資料湖，将大量曆史資料遷移到Hadoop上，用Hive對資料進行加工處理，所有的查詢計算都通過Presto執行。但是，該方案在最近兩年資料量快速增長、業務場景多樣化發展的趨勢下逐漸無法适用。具體而言，中信建投目前在資料查詢分析中主要存在以下痛點和需求： 1) 資料加工鍊路複雜。在資料分析的流程上，資料部門通常是首先用presto做即席查詢，再通過Hive進行資料加工，最後将加工過後的資料下發到各部門的Oracle或MySQL事務型資料庫，業務人員在事務資料庫裡對下發資料進行查詢和分析。整個過程需要在三套系統之間進行資料交換，且三套系統使用的SQL文法也不一緻，需要不同人員進行開發維護，進而産生了多種問題：
2) 大資料量下性能不足，查詢響應慢。中信建投目前大部分的資料都存儲在Hive中，業務部門在進行自助分析時通常涉及的相關資料量較大，而Presto在大資料量、多表關聯查詢時會出現響應比較慢，甚至無法獲得查詢結果的問題，無法滿足單表及多表複雜查詢場景下響應的及時性。此外，Presto因為資源隔離不足會出現應用搶占資源的情況，不能很好支援高并發的查詢請求。 3) 大量實時資料分散在各個業務系統，無法進行聯合分析。由于中信建投内部存在非常多的業務系統，各業務系統互相獨立且資料會不斷更新，而這些實時資料無法更新到Hive中，導緻業務資料之間不能及時打通進行聯合分析。 4) 缺少預計算能力加速固定查詢。固定報表和API資料服務為各業務提供包括資料彙總結果、明細查詢、資料接口在内的多項能力，而基于固定資料查詢的可視化報表通常資料查詢量大、計算次元較多，一個看闆頁面涉及大約一兩百個SQL語句，整體運算效率低下。針對這種情況，中信建投希望通過預計算實作查詢加速，并且要求開發工作輕量化且資源消耗較低。 引入StarRocks建構統一查詢服務平台 通過綜合對比資料庫即席查詢、實時分析性能、預計算能力、資料聯邦技術，并且結合中信建投已經在Hadoop體系中有大量投入，不希望做大規模資料搬遷的具體情況，将Hive外表查詢支援、SQL文法及函數的相容性等方面納入選型考慮，中信建投最終選擇引入StarRocks來建構統一的查詢服務平台，滿足各部門的用數需求。 StarRocks是資料分析新範式的開創者、新标準的上司者。面世三年來，StarRocks 一直專注打造世界頂級的新一代極速全場景 MPP 資料庫，幫助企業建構極速統一的湖倉新範式，是實作數字化轉型和降本增效的關鍵基礎設施。目前全球超過 200 家市值 70 億元以上的頭部企業都在基于 StarRocks 建構新一代資料分析能力，包括騰訊、攜程、平安銀行、中原銀行、中信建投、招商證券、衆安保險、大潤發、百草味、順豐、京東物流、TCL、OPPO 等，并與全球雲計算上司者亞馬遜雲、阿裡雲、騰訊雲等達成戰略合作。項目在 GitHub 星數已超 3700 個，成為年度開源熱力值增速第一的項目，市場滲透率跻身中國前十名。 圖5：中信建投統一資料查詢服務平台 作為一款高性能全場景的分析型資料庫，StarRocks使用MPP 架構、可實時更新的列式存儲引擎等技術實作多元、實時、高并發的資料分析。StarRocks 既支援從各類實時和離線的外部資料源高效導入資料，也支援直接分析資料湖上各種格式的資料，統一的SQL互動将資料分析結果或物化視圖預計算結果分發到各個資料應用，為中信建投實作了三套系統使用功能的整合以及資料應用流程的簡化。 具體而言，針對中信建投的痛點問題，StarRocks具備如下優勢： 1）在性能方面，針對大規模資料下自助BI靈活高效的需求。StarRocks向量化執行引擎，全面實作了SIMD指令，保證查詢和向量化導入可以充分利用單機單核CPU的處理能力；StarRocks自研的Pipeline協程引擎，使得StarRocks可以應對更高的并發查詢，充分利用單機多核CPU的處理能力，與此同時可以更優雅的進行CPU時間分片排程進而實作資源隔離的功能；StarRocks采用大規模并行處理（MPP）架構，可以充分利用多機多核的叢集資源，保證查詢性能可以線性擴充；并用基于成本的優化器CBO、RuntimeFilter、延遲物化、全局低基數字典等多種⼿段實作極緻查詢性能。 2）在外部表聯邦查詢方面，StarRocks可通過建立外部表的⽅式，在 StarRocks 讀取其他資料源，如MySQL、Elasticsearch、Hive等外部表中的資料，從⽽打破資料的隔離。以Hive外表功能為例，中信建投可以将其Hive中的離線資料導⼊ StarRocks 中進⾏⾼性能分析查詢。同時，StarRocks 也可以扮演資料湖的⻆⾊，将離線資料與實時資料進⾏關聯，打通不同資料存儲間的壁壘，從⽽⽀撐業務分析時在資料湖中進⾏資料探查和極緻分析的需求。 3）在預計算方面，為了實作固定報表的加速，StarRocks引入預計算的手段，通過建立多表、外表物化視圖的方式對明細資料進行上卷和下鑽，複用常見查詢有效優化了複雜SQL計算效率，滿足使用者對固定次元聚合分析以及原始明細資料任意次元分析的多樣需求。 中信建投統一查詢服務平台落地後的效果與價值 第一，大資料查詢性能得到顯著提升。采用StarRocks内部表加速明細資料關聯查詢，實作了上億級别資料量大表關聯秒級響應，内表查詢效率提升10倍以上，外表查詢效率提升1倍以上，完全滿足大資料量下查詢分析及時響應的需求； 第二，預計算能力降低了固定報表加工成本。采用StarRocks預計算能力可以将固定報表和API資料服務響應速度提升1倍以上。多表物化視圖、外表物化視圖、QueryRewrite等高階功能，可以有效降低資料模組化成本，使得“直面分析，按需加速”成為可能。 第三，降低資料遷移成本，提升資料管理和使用效率。StarRocks基于Hive外表做查詢，減少了中繼資料和底層資料的遷移成本，并實作了實時資料聯通分析。同時，以StarRocks為統一資料服務入口，降低了整體資料查詢和加工的複雜度，提升了資料管理和使用效率。 項目經驗總結 中信建投進行數字化轉型過程中已經部署了大部分的資料基礎設施，但是已有的基于Hadoop建構資料湖的體系在近兩年來暴露出衆多問題，已經無法比對業務的發展速度。中信建投基于自身業務需求和已有技術架構情況選擇以StarRocks建構統一資料服務入口的實踐，為同類型券商企業提供了以下經驗建議： 1) 分析型資料庫的選型需要充分考慮企業自身的用數需求，以及現有資料平台的技術架構，選擇符合自身實際情況的資料庫是獲得較好的落地效果的關鍵。例如，中信建投大部分的資料都存儲在Hive中，StarRocks提供的類Presto的外表查詢功能可以避免資料遷移增加的額外成本，同時也很好地滿足了公司的用數需求。 2) 随着企業資料庫規模不斷增長，以及分析場景更加複雜，分析型資料庫需要不斷提升資料查詢分析的性能，以及針對固定報表、自助BI等各種應用場景，提供場景化解決方案、生态工具，才能滿足使用者在資料查詢分析方面功能和性能的複雜需求。 |
3.圖資料庫
3.1傳統資料庫關系查詢能力不足，圖資料庫及相關解決方案加速業務洞察
在各行各業中都存在着諸多依賴個體屬性及其之間關聯資訊的場景，例如社交網絡、金融風控、營銷等，需要對單體之間的關系進行識别，并對其特點進行研究。然而，要在海量的資料中，發掘個體之間隐藏的聯系，是項很複雜工作，這為企業帶來了新的挑戰。具體而言，企業在關聯關系的探索上，存在以下難點或需求：
- 傳統的關系型資料庫對資料關聯關系查詢的支援有限。對于一些簡單的關聯關系查詢，企業通常可以采用傳統的關系型資料庫解決，但關系型資料庫在進行關聯資訊檢索時需要執行多個表的連接配接操作，在資料關系較複雜時，會出現操作繁瑣，且性能嚴重不足，導緻無法查詢結果的問題。是以，關系型資料庫在實際應用中隻能執行一二度簡單關系的查詢，而不具備複雜關系查詢的能力。
- 企業缺少相關分析工具和解決方案來對關聯資料進行挖掘分析。在具體應用場景中，關聯關系的查詢分析，除了需要底層資料庫引擎的支撐，通常還需要結合領域知識，将關聯關系轉換為知識見解，幫助業務決策。此外，對于一些複雜的查詢分析，還需要一些AI算法來加速擷取結果。
為了解決企業在資料關系探索上的難題，針對資料關系進行高效存儲和計算的圖資料庫獲得了企業的青睐。作為典型的非結構化資料解決方案，圖資料庫将關聯資料的實體作為頂點存儲，關系作為邊存儲，突破了資料複雜關聯存儲查詢造成的性能瓶頸。同時，知識圖譜，以及圖分析算法也為圖資料的挖掘分析起到關鍵作用。圖資料庫及相關的解決方案具體包括如下三方面的内容：
圖6：圖分析解決方案賦能資料關系洞察
- 高性能圖資料存儲與處理引擎。圖資料庫以圖模型存儲資料，最大能高效地存儲萬億點邊的資料，有效承載了企業沉澱的海量關系資訊。借助優秀的關系傳導能力，圖資料庫能夠實作高效的多跳查詢，以此發掘關系型資料庫無法發現的深度關系；
- 圖算法支援高效的資料關系挖掘。借助圖算法，使用者能夠實作海量資料挖掘和複雜關系分析，例如最短路徑，社交網絡中心性、社群檢測、社群特征、相似性和分類等常用的圖算法，能夠幫助使用者在紛繁複雜的資料中發現有價值的資訊，輔助進行業務決策；
- 知識圖譜平台支援場景應用。為了賦能業務場景，企業在具備圖資料庫引擎的基礎上，還需要建構知識圖譜平台，将圖的關聯關系轉化為知識，進而形成業務洞察。通常，知識圖譜平台需要具備兩大關鍵的能力：1）知識圖譜建構，即利用圖譜建構工具，實作知識抽取、知識表示和知識融合，進而建構知識圖譜；2）知識推理計算，即通過推理計算引擎，結合行業知識，發現知識中的顯性或隐性關系。
| 案例3：民生銀行基于圖資料庫建構知識圖譜應用平台，通過圖分析盤活資料資産 作為頭部股份制商業銀行，民生銀行始終堅定踐行“民營企業的銀行、靈活開放的銀行、用心服務的銀行”的戰略定位，高度重視數字化轉型，主動融入數字中國建設，着力在“生态銀行”和“智慧銀行”兩大領域實作突破和提升，緻力于為客戶提供專業特色的現代金融服務。 随着金融行業數智轉型的程序加快，銀行業務資料量出現爆炸式增長，對金融行業的資料處理能力提出了更高要求。同時，面向海量資料的充分沉澱，挖掘資料資産的潛在價值，釋放蘊藏在資料要素中的生産力變得至關重要。對于民生銀行而言，全行業務場景衆多，由此積累了規模龐大的賬戶資料，也帶來了豐富的使用者關系資訊。在此基礎上，如何選擇新的資料庫進行技術革新，賦能業務實作資料驅動的決策，成為民生銀行内部一項重要的發展課題。具體而言，民生銀行需要采用新的資料技術解決以下難題： 1) 對大規模的業務資料進行高效的關聯關系分析與挖掘。風險控制和營銷作為銀行兩大重要業務發展手段，需要對海量使用者資料進行深度關聯關系挖掘，以識别潛在風險、了解客戶偏好。在傳統的關系型資料庫中，資料被存儲在二維表中，使用關系模型檢索需要執行多個表的連接配接操作，在深度關系挖掘能力與資料處理性能上表現嚴重不足； 2) 對行内資料拉通整合，進行統一的查詢分析。民生銀行内部各個業務系統較為多元，但是未在資料層面打通，各個業務之間相對獨立，并未建立關聯關系。此外，業務人員缺少統一的應用平台對多元化的業務進行全局聯通分析，資料管理分散，無法站在全局的視野分析業務變化，進行實時決策； 3) 底層資料基礎設施的研發難度和成本較大，需要在解決技術難題的基礎上滿足大型企業要求的高可用、多租戶、權限管理等能力需求。此外，随着國家信創政策日益嚴格，金融業作為國家經濟命脈，必須充分實作關鍵資料基礎設施的國産化，具備資料庫系統的安全可控性，保障資訊安全。 基于Galaxybase圖資料庫建構知識圖譜應用平台，賦能銀行業務更新 數字化轉型需求驅動下，民生銀行需要挖掘資料關聯關系，發揮數字資産價值，更好地提升風控、營銷等核心業務能力。是以民生銀行決定通過招标建設知識圖譜應用平台，通過綜合考慮大規模的關聯關系查詢、多元化資料拉通整合、底層技術自主可控以及廠商技術領先性和實踐經驗等因素，最終創鄰科技從衆多圖資料庫廠商中脫穎而出。 創鄰科技是國内領先的商業化高性能分布式圖資料庫供應商，在分布式資料存儲、大資料并行處理、圖挖掘等領域有業界領先的技術儲備。創鄰科技聚焦金融闆塊，目前已成功服務五大行、頭部股份制銀行以及城商行、農商行等企業使用者，核心産品Galaxybase國産高性能圖平台已累計支援數萬億點邊的大型金融圖譜應用，性能國際領先。 圖7：基于Galaxybase圖資料庫建構的“萬象”知識圖譜應用平台 在創鄰科技的幫助下，民生銀行以大資料、人工智能技術為基礎，引入Galaxybase圖資料庫建構“萬象”知識圖譜應用平台，提供資訊展示和互動式分析，具備本體模組化、圖譜建構、圖譜挖掘、知識服務的一站式全流程應用能力，助力民生銀行業務更新。具體而言，基于Galaxybase圖資料庫的“萬象”知識圖譜應用平台使民生銀行具備了以下能力： 1）借助Galaxybase圖資料庫的圖譜可視化和關系挖掘能力，民生銀行能夠基于圖譜對各類資訊拉通聚合，進行關聯關系挖掘，提供資訊展示和互動式分析功能。以建構企業全息圖譜為例，通過引入行外的全量工商、司法、知識産權等複雜資料且對企業的多重關系進行分析和挖掘，能夠實作關聯資訊的高效聚合，直覺呈現複雜客戶關系網絡，簡化業務分析難度。 2）圖技術的形态識别和關系傳導能力可以在反欺詐業務中發揮重要作用，依托Galaxybase圖資料庫所具備的實時資料處理與圖建構能力，“萬象”知識圖譜平台能對信貸申請件資料進行實時組網，通過裝置資訊、地理位置資訊、黑樣本、轉賬等關聯關系識别定位欺詐團夥，并且結合傳統欺詐特征和網絡特征進行機器學習對申請條件評分，有效識别欺詐申請，進行及時預警，實時攔截欺詐風險，避免欺詐損失。 3）基于圖神經網絡的知識推理，“萬象”知識圖譜平台能夠提升銀行的營銷能力。通過對涵蓋個人客戶的銀行客群建立經營分析圖譜，“萬象”知識圖譜平台可以基于使用者關系鍊進行社群關系推理，利用種子賬戶所在社群觸達全新使用者并實作拉新，由社群觸達的新成員，還能夠以不同的速度、方式和幅度進行裂變傳播，有效解決傳統客戶管理系統獲客難的問題，達成“快速實作賬戶增長，低成本輕松獲客”的目标。 為了滿足資料聯通整合的需求，民生銀行基于Galaxybase圖資料庫對行内外跨部門、跨産品、跨業務線中的實體及中繼資料資訊進行了整合。同時，平台配備可視化圖分析平台，業務人員無需程式設計技能即可通過可視化圖形配置界面建構知識圖譜、部署圖算法、執行計算并展示結果。 此外，Galaxybase圖資料庫具備企業級特性，通過主備叢集能力支援資料庫高可用，并且提供企業級的運維管理和安全監控能力，支援點邊類型和屬性的細粒度權限管理。在信創方面，Galaxybase圖資料庫為國産自研産品，能夠滿足金融行業對資料技術安全自主可控的要求。 “萬象”知識圖譜平台落地後的效果與價值 第一， 打破資料孤島，支撐海量資料的實時分析與關聯價值挖掘。通過建構“萬象”知識圖譜應用平台，民生銀行能對行内外跨部門、跨産品、跨業務線中的實體及中繼資料資訊進行整合，建構多觸點、全次元的可視化關聯資訊圖譜，提供360°全景可視化視圖，破除資料孤島。同時，“萬象”知識圖譜平台底層采用的分布式架構支援動态線上擴容，新進的業務資料也能夠實時入網，業務人員能夠結合不同的場景利用知識圖譜進行實時決策。 第二， 圖譜可視化技術為使用者提供業務全流程資料關系展現。“萬象”知識圖譜平台能夠為業務系統輸出圖查詢、關聯和計算能力，同時為業務分析人員提供全息圖譜，提升内外資料關聯分析能力；針對研發人員，則提供資料關聯關系分析平台，分析挖掘環境更加便利，可實作便捷的可視化模組化。最後，“萬象”知識圖譜平台能夠為業務沉澱出一系列可視化資料産品，實作全流程業務能力更新。 第三， 強勁的多跳查詢性能幫助銀行實作實時深挖隐藏關聯關系。依托于Galaxybase原生分布式并行圖資料庫可以極快地處理複雜的多跳關聯關系，“萬象”知識圖譜應用平台能夠對于銀行的海量業務資料進行多跳查詢，挖掘查找資料間的異常關聯關系，是以能夠快速對傳統方法不能找到的風險進行預判和警報，完美契合銀行的反洗錢、反欺詐、對公信貸等業務。 項目經驗總結 在數字經濟時代，為了實作資料價值的充分釋放，就需要将資料進行關聯，從單純的資料管理轉變為資料關系的挖掘、分析和利用。民生銀行引入創鄰科技Galaxybase圖平台建設知識圖譜應用平台的實踐，為同類型的業務場景提供了以下圖資料庫及相關應用的選型和使用經驗： 1）關注圖資料庫底層技術支撐能力。銀行業務數字化的快速發展一定會造成行内資料量爆發式增長，銀行企業在選擇圖資料庫時一定要考慮在超大資料規模下的底層資料庫支撐能力，要能夠在不降低查詢和計算性能的情況下高效實作知識圖譜的建構；同時，對于關聯關系的深度挖掘，銀行企業需要關注圖資料庫的多跳查詢性能，能夠實時挖掘複雜關系是關鍵。 2）重視信創政策，推進底層國産化替代。對于金融機構而言，實作底層資料基礎設施的國産化有助于保證整體系統安全穩定地運作，而且資料庫及其配套應用需要不斷疊代和适配來滿足未來業務場景的拓展，建議各銀行在招标過程中将圖資料庫的國産技術和圖應用解決方案綜合實力納入考慮，旨在減少後續更換底層資料庫的潛在風險和成本。 |
4.超融合資料庫
4.1企業多元化快速發展，超融合資料庫在單一技術棧上滿足各業務需求
在數字化轉型的驅動下，中大型企業在複雜多樣的業務場景下沉澱了海量多源異構的資料，而且由于業務持續擴張增長的趨勢，部分企業需要不斷加強數字化建設的力度來比對業務的發展速度。在這種情況下，中大型企業現有的資料庫解決方案在企業需求的增長下變得愈發難以為繼。具體而言，業務的極速發展和數字化帶來資料規模膨脹、資料類型多樣化使得現有的資料庫設施遇到了以下方面的難題：
圖8：大資料量、多資料類型帶來的資料庫使用問題
1. 承載資料類型有限。業務場景的拓展帶來了更加複雜的資料類型，企業需要對異構的資料進行高效存儲以便後續查詢分析，而傳統的關系型資料對非結構化資料的承載能力有限。通過引入專用的非結構化資料庫，企業雖然可以存儲與之相對應的非結構化資料，但是卻造成資料庫系統分散獨立的情況，難以統一維護管理，進而帶來額外的運維成本。
2. 海量資料查詢遇到資料庫性能的瓶頸。随着大型企業快速發展帶來的資料規模膨脹以及查詢複雜度的提升，原有資料庫在響應速度上難以滿足企業實時查詢分析的需求，進而導緻業務運轉停頓或無法進行資料決策。
為了解決企業在業務快速發展過程中遇到的多資料類型和性能方面的難題，超融合資料庫是在核心層面采用子產品化和插件化的架構，通過插拔不同類型的資料引擎，實作對不同模型資料進行處理能力的資料庫。超融合資料庫能夠支援使用者在一套系統中統一處理關系、圖、時序、文檔等多種模型的資料，簡易的架構不會為企業增加過多的運維管理成本。同時，超融合資料庫具備與常見的專用資料庫或大資料引擎同等或更好的性能表現。具體而言，超融合資料庫為企業帶來了以下優勢：
圖9：超融合資料庫支援多類型資料，單一架構簡化運維
1. 支援多種類型資料。超融合資料庫在單一架構上實作了多模态資料的融通管理，通過部署适用于不同資料類型的存儲和計算引擎，超融合資料庫實作了多種異構資料，例如結構化資料、時序資料、圖資料等，的統一寫入、存儲和管理。
2. 簡化運維。超融合資料庫采用創新性架構，利用子產品化的引擎來支援不同類型資料的存儲和計算，避免了引入多種專用資料庫造成系統備援的情況。此外，超融合資料庫使用統一的應用通路接口和優化器簡化系統架構，在有效支撐業務發展的前提下，極大減少了資料庫的運維成本。
3. 查詢分析性能提升。超融合資料庫相比常見的大資料引擎具備更強的性能表現，在單表查詢、複雜SQL運算等能力上均有顯著的提升。此外，超融合資料庫還針對不同類型資料的處理需求進行優化，以獲得比常見專用資料庫更強的性能表現。總體而言，強勁的性能表現能夠縮短資料庫服務響應時間，能夠使業務運作更加流暢，及時支撐實時決策。
| 案例4：某新能源頭部制造企業基于超融合資料庫打造“資料湖倉平台”，支撐企業高速發展 伴随近年來新能源汽車在全球範圍内的銷量劇增，處于新能源汽車産業鍊重要位置的國内某頭部制造企業也迎來了業務的快速發展。為了提高産能，并降本增效，該企業需要不斷加強數字化建設，以支撐全球産品溯源追蹤、生産及售後營運分析、裝置預測性維護等多項業務。 然而，随着該企業業務規模的迅速擴張，其需要處理的資料規模急劇膨脹，資料類型也比以往更加複雜，導緻該企業原先基于MySQL、Greenplum建構的資料庫系統面臨顯著的性能和功能瓶頸，也給該企業的業務開展帶來以下挑戰： 1）原有數倉叢集遭遇性能瓶頸，維護擴容複雜，難以應對業務快速增長需求。 随着業務的快速擴充，帶來資料規模的快速增長，以及查詢複雜度快速提升，原有叢集的 CPU 使用率長期維持高位運作，導緻計算和查詢作業長時間排隊，緻使業務間歇性卡頓，部分大型報表的等待時間甚至超過30 分鐘，嚴重影響了業務的運作效率和使用體驗。另一方面，原有數倉平台的擴容也需要伴随較長時間的停機等待，同時不支援資料的分層存儲管理，這使得對原有平台進行不斷擴容，在時間和成本上都不可持續。 2）智能制造亟待擴充複雜時序處理及分析能力。 該企業作為大型制造業集團，也在積極探索智能制造的轉型創新，而首要的是對廣大的生産裝備進行數字化更新，這帶來廣泛的 IoT 場景需求。在其整體資料結構中，除了由常見的 MES、ERP 系統所産生的關系型資料，還有由數采單元面向裝置、物料和流程采集到的時序、GIS 等類型資料，比如涵蓋近百個名額的生産制造裝置工況資料、已售出産品的運作資料以及曆史維修資料等。目前架構中是通過 MySQL 和 Greenplum 來承載時序資料，但 MySQL 及 Greenplum 并不具備專門針對時序場景的強化特性及功能，資料承載力和查詢能力都十分有限： • 寫入性能：無法承載超大裝置帶來的海量資料寫入負載； • 寫入功能：無法支援動态、亂序、延遲寫入，以應對複雜工況下的資料産生環境； • 查詢能力：點查詢性能有限，沒有視窗查詢、庫内機器學習等。 3）資料量倍數增張，總部中心叢集負載壓力大 目前，該企業集團在全國擁有數十家分支生産基地，每個生産基地的産線系統都需要高性能及可靠穩定的資料管理系統。面向未來，預期整個集團将持續以倍數級擴充産能，産線資料量将翻倍增長，對資料管理的承載力、效率、成本和易用性都提出了更高标準。 目前所有資料直接進入總部，對總部叢集造成很大負載壓力。除了持續擴容外，在不增加太多運維複雜度的基礎上，客戶迫切希望建立一套總分結合的“總部（雲）+工廠（邊）”協同架構，在增強整體資料承載能力的同時，也優化各子公司的資料平台能力，實作對整體資料管理與治理能力的更新。 基于超融合資料庫，實作一套系統滿足企業多種類型資料存儲與處理需求 為了滿足對大規模、多源異構資料的存儲與處理需求，該企業需要引入新的資料基座來替換原先的MySQL、Greenplum資料庫。在此過程中，該企業考慮過Hadoop技術棧，但基于Hadoop技術棧滿足業務需求，需要同時建構非常複雜的開發和運維體系，成本過高。 由于YMatrix超融合資料庫具備高性能、支援多種資料類型、運維簡單等優勢，便成為了該企業的的最終選擇。 YMatrix成立于 2020 年，是一家創新型基礎軟體公司，緻力于物聯網時代新一代資料基礎設施軟體的研發，并提供相關産品、解決方案及一站式商業服務。公司在業界率先提出超融合資料庫理念，并釋出了 YMatrix 超融合資料庫，基于獨創的多微核心開放架構，在單一資料庫之上，實作多模态資料的融通管理，及全場景查詢分析的統一支援。YMatrix超融合資料庫可面向物聯網應用、工業網際網路、智能運維、智慧城市、智能家居、車聯網等場景，提供架構簡潔、功能豐富的資料基礎設施，并已在多家行業頭部公司成功實作商業化落地。 圖10：某新能源頭部制造企業基于超融合資料庫打造的“資料湖倉平台” YMatrix超融合資料庫在該企業内替代了原先的MySQl、Greenplum等資料庫，在支援多種類型資料的存儲、彙集與管理的同時，通過全面的功能承接了各類業務需求。具體而言，YMatrix超融合資料庫的以下功能特性解決了該企業此前存在的各種問題： 1）支援多種資料。由YMatrix超融合資料庫承建資料湖倉平台，對接産線MES系統、ERP系統及給類型生産裝置數采系統等，将TP業務資料、時序資料、GIS資料、JSON文本資料，以及過去的曆史資料等等多種資料，統一進行寫入、存儲、管理，支援資料亂序、延遲寫入，支援ACID以確定資料完整性； 2）提供統一的查詢。YMatrix超融合資料庫通過标準SQL提供多類型資料查詢，在資料湖内實作資料的跨類型聯合分析，而無需再并行建設專門的技術棧； 3）支援庫内機器學習。YMatrix超融合資料庫支援庫内機器學習模組化，可代替Flink + Spark，使算法模組化及計算在YMatrix叢集内實作，無需大規模的資料ETL過程，大幅簡化系統架構，且性能大幅提升，算法分析工作效率提升10倍； 4）較高的查詢性能。YMatrix超融合資料庫針對寫入和分析等重點領域進行了多達138項深度的指令級的優化，能夠在單表查詢、多表關聯分析、時序資料查詢等常用場景上獲得比主流專用資料庫更高的性能。 5）簡化運維。YMatrix超融合資料庫技術架構簡化靈活，運維人員需要管理的技術棧變少，是以從根源上降低了其運維複雜度。同時，YMatrix超融合資料庫提供大量圖形化及自動化的運維能力，包括：線上擴容、自動資料平衡、資料生命周期管理、運維監控等，幫助使用者降低操作門檻、獲得更好的使用體驗以及更加自動化的作業能力。 此外，為了降低總部中心叢集負載壓力，YMatrix為該企業建設了邊緣數倉，即在分支工廠部署獨立數倉平台，承載工廠的 MES、ERP、PLM 等各系統資料，完成這些生産資料在本級的資料歸集，同時進行預處理查詢分析，篩選出符合總部需要的資料後再上傳總部叢集。新建構的“總部（雲）+ 工廠（邊）”協同架構，在強化本地資料就近處理的能力之上，有效降低了集團叢集的負載，為後期業務的長期穩定運作及良性擴充奠定架構基礎。 超融合資料庫落地後的價值與效果 第一， 性能大幅提升，為應對業務量大規模擴張奠定基礎。在使用YMatrix超融合資料庫後，該企業解決了原有叢集性能不足、擴容伺服器耗時長、報表查詢等待過久等各項問題，查詢耗時最高縮短79%，為平台支撐的各項業務服務體驗提供充沛的性能支援。 第二， 為數智化創新提供新一代通用資料基座，并提供更友好的使用體驗，大幅降低運維複雜度。通過 YMatrix超融合資料庫，支援多模态資料的全場景查詢分析需求，能夠服務企業級使用者未來 5-10 年可能存在的需求，幫助該企業避免了産品疊加或技術架構反複調整帶來的技術風險和不必要成本。同時，YMatrix超融合資料庫通過資料超融合能力大幅精簡了系統架構，并供大量圖形化及自動化的運維能力，進而降低了資料庫的運維複雜度，讓使用者工作更加專注，作業更加高效。 第三， 資料管理成本獲得有效控制，同時降低總部叢集的壓力。YMatrix超融合資料庫在為⼤資料平台帶來了上述優化與新功能的同時，在保證性能滿⾜需求的前提下，使得該企業每年在資源上的成本開銷減少了⾄少30%。同時，通過搭建更科學經濟的“總部（雲）+ 工廠（邊）”協同架構，減少資料傳輸成本的同時，降低因組織結構龐大、産能持續壯大給總部叢集帶來的壓力。 項目經驗總結 目前，中國正在從“制造大國”向“制造強國”轉型，與此同時，一批代表着戰略新興行業方向的制造業企業在市場需求以及政策推動下，正處在高速發展過程中。為了實作這樣的目标，數智化在其中将會起到關鍵支撐作用。我們認為，上述新能源頭部制造企業與YMatrix合作的案例，可以為同樣處于快速發展階段的制造業企業帶來以下借鑒意義： 第一， 資料基座的選型需要超前考慮中長期的業務發展需求。随着企業業務的快速發展，企業内部資料量必然迅速增長，資料類型也将變得更加複雜。由于資料庫等基礎設施的遷移是項成本非常高昂的工作，企業在選型時需要充分評估未來5-10年的業務需求，選擇能夠應對中長期資料存儲和處理需求的資料基座。 第二， 為避免傳統方案複雜的開發和運維，企業可以考慮創新性的超融合資料庫。盡管市場上有一些大資料方案能夠滿足企業各類複雜的資料存儲和處理需求，如Hadoop技術棧，但面對企業複雜的需求，其開發和運維也非常複雜。超融合資料庫在簡化系統架構的同時，具備支援多種資料類型、性能高、運維簡單等優勢，是處于快速發展階段的企業非常理想的選擇。 |
5. 結語
從本報告所挑選的多個案例中，我們可以看到，看似已經非常成熟的資料庫市場，在各個細分方向一直在适應企業不斷變化的需求，往更強的性能、更豐富的功能，更簡化的使用和運維的方向進化，并且這個趨勢還在延續當中。
而對于每個企業而言，當它們在對資料基礎設施進行規劃，對資料庫更新換代時，需要結合企業内部情況權衡多方面的問題。既要對業務需求進行全局思考，選擇能夠适應企業未來發展的技術架構，也要結合企業現階段資料基礎，滿足在性能、功能、運維等各方面要求的同時，選擇成本更低、使用更簡單的資料庫方案。