天天看點

如何選擇金融級雲資料平台?

作者:偶數科技
如何選擇金融級雲資料平台?

一個簡單的銀行轉賬操作會産生多少資料的流動呢?

  • 在使用者轉賬行為的同時,考慮到轉賬資金的安全性,銀行可能會需要存儲本次使用者轉賬的時間、金額、位置等資料,通過反欺詐應用系統進行風險預警與交易阻斷,當大量使用者的轉賬行為同時發生時,會有大量并發的資料湧入。
  • 轉賬完成後短暫時間裡,交易雙方會有轉賬相關資訊的查詢需求,确認資金正确的交易,銀行可能會需要按使用者需求提供部分時間段的交易流水資訊。
  • 在一些較長時間的間隔裡,銀行還可能會對使用者的轉賬的資料進行分析統計、進行使用者畫像,以便于銀行相關的業務決策。

在這個過程中涉及到資料庫的實時流處理、實時按需分析、離線分析等複雜需求,如果沒有高效的資料平台支撐,很難保障資料分析和應用的有效性和安全性,甚至會對企業對企業數字化戰略造成重大影響。

金融行業需要什麼樣的資料庫?

信通院于2021年釋出了《金融級分布式資料庫白皮書》,報告中指出金融行業普遍對資料庫的安全性、可靠性、穩定性有着全行業最為嚴苛的要求,是以,滿足金融行業需求的金融級資料庫産品幾乎成為所有行業中的标杆。報告認為金融級分布式資料庫是能夠滿足金融級要求的高可用、高性能、低成本、線性水準擴充、企業級安全、便捷性運維的分布式資料庫。

與普通資料庫的差別?

報告認為,雖然分布式資料庫起源于網際網路行業,但是金融級業務資料的價值較高,對資料庫的高可用、強一緻、低延遲時間、可擴充性、高容災性、供應鍊安全性等要求更為嚴苛。這也是金融級分布式資料庫與普通分布式資料庫的主要不同點。

如何選擇金融級雲資料平台?

那麼,要達到金融級分布式資料庫的要求,需要做到滿足:

  1. 資料強一緻性的需求:金融級分布式資料庫通常用于存儲各行業的核心資料,其任意一筆資料錯亂、丢失将帶來嚴重影響。是以即使在某些軟體故障、硬體異常的情況下,資料庫都應保證資料的強一緻性。
  2. 業務連續性和資料可靠性的需求:金融級分布式資料庫服務于涉及國計民生的重要業務系統,其對運作連續性要求異常嚴格。此要求來自于金融業,也來自于政務、大型企業本身需求、監管機構要求和使用者輿論壓力等。資料庫作為業務系統的基礎,其通用的可用性要求在 99.999% 以上。為確定在異常情況下資料不丢失、不錯亂,即使極端異常情況仍需確定資料的留存,金融級分布式資料庫的可靠性通常要求在 99.999999% 以上。
  3. 快速擴充、靈活疊代的需求:在金融級場景中,存在短時間使用者規模增大或業務疊代需求強勁的情況,金融級資料庫要求适配上述場景,即資料庫具有快速擴充的能力, 同時業務系統要具備快速比對的靈活疊代能力。而在傳統建設模型中,快速擴充、靈活疊代幾乎是不可行的。是以分布式、微服務、标準開發架構等開始在金融級資料庫中得到普及與推廣。
  4. 低成本與雲計算的需求:金融級業務種類繁多,随着時間增長資料也會快速增加,帶來支撐性資料庫變得越來越龐大。這意味着如果每個系統都按照傳統商用資料庫建設标準來建設,會帶來極高的成本。是以雲計算環境的金融級資料庫的集約模式建設方案正逐漸成為主流趨勢。
  5. 高端伺服器等供應鍊風險:受國際政治格局影響,采購國外高端伺服器(晶片)等存在諸多不确定性。一旦出現國外伺服器(晶片)斷供,可能導緻嚴重的後果。而短期内,國内對于晶片的供應可能僅在 28nm 或者更低的水準,單一伺服器的算力不足會對金融業務建設系統帶來諸多問題。

OushuDB—雲原生資料庫新銳準獨角獸

了解了金融行業的需求,以及金融級資料庫産品的定義,我們來看看雲原生資料庫新銳準獨角獸偶數科技如何通過OushuDB逐條破解難題。

什麼是 OushuDB?

OushuDB是由偶數科技自主研發的新一代極速雲原生架構的分布式資料庫,支援高并發,高吞吐,高性能的彈性計算。OushuDB相容國産軟硬體平台,符合國家信創标準,支援各大公有雲和私有雲。通過計算存儲分離架構解決了傳統資料庫高成本、低性能、高門檻、難維護、難擴充的問題。OushuDB 具有哪些特點?

  • 雲原生:采用計算存儲分離架構,利用雲伺服器、分布式存儲,對資料基礎設施的可擴充性進行深度優化,充分滿足雲端應用高度彈性、無限擴容的要求。支援騰訊雲、阿裡雲、華為雲、金山雲、微軟Azure、AWS等主流雲平台。
  • 高性能:面向PB級大資料的複雜查詢,相比MPP和SQL-on-Hadoop快一個數量級。全新設計的執行器讓性能提升5~10倍,顯著降低批處理和即席查詢所需的時間。
  • 強相容:具備完善的SQL标準和ACID特性,支援HDFS和多種對象存儲的增删改查、以及偶數自研的Magma存儲。相容基于Oracle,PostgreSQL,Greenplum開發的數字應用,使用者可以輕松實作不同資料基礎設施的平穩遷移。
  • 自主可控:OushuDB由國内頂尖資料庫核心研發團隊自主開發,符合國家信創标準。偶數研發團隊曾主導國際頂級的資料庫開源項目。
  • 應用廣:OushuDB已在金融、電信、政府、制造、網際網路等行業的數百家頭部企業得到廣泛應用,助力各類企業完成數字化轉型。
  • 可以說,OushuDB資料庫所具有的高可用、高性能、低成本、易擴充、自主可控的特性,完全符合金融級分布式資料庫的定義,并滿足金融行業的業務需求。借助OushuDB作為底座,更可以快速搭建偶數科技的湖倉一體和實時湖倉方案。

基于OushuDB的實時湖倉一體方案

什麼是湖倉一體方案呢?在企業進行湖倉一體化探索時,可能對原有的IT系統和平台産生路徑依賴,進而選擇采用湖倉分體的技術模式,即湖是湖,倉是倉,而這個各自獨立部署,資料通過ETL的方式打通,即業内常常提到的Hadoop+MPP模式。這種方式盡管在邏輯上可以為使用者提供統一的資料管理能力,但在實體層面資料湖和資料倉庫仍然是分離的,同一份資料可能分别存在于多個存儲叢集中,進而不可避免的形成資料孤島。而在企業克服湖倉分體模式帶來的種種弊端的過程中,又可能進一步催生ETL邏輯複雜、資料變更困難、資料不一緻等一系列實施與運維問題,最終不僅無法最大化湖倉性能,還極大增加了管理運維成本。偶數科技研發的OushuDB創新性的采用了存算分離的雲原生架構,突破了傳統MPP和Hadoop的局限,将計算和存儲部署在不同的實體叢集中,使得計算和存儲資源可以獨立的彈性伸縮;通過建構虛拟計算叢集,OushuDB可以在數十萬節點的超大規模叢集上滿足高并發需求,形成了統一的資料體系,不僅使得湖倉更适應雲環境,還降低了使用者的成本;通過支援分布式表存儲Magma,OushuDB的計算引擎便于實作快照視圖,能夠高效實作實時查詢需求,進而在性能和事務方面的支援更加完善。

如何選擇金融級雲資料平台?

(偶數科技湖倉一體化解決方案)為了同時滿足實時流處理、實時按需分析和離線分析需求,偶數科技獨創性的探索出了Omega全實時資料處理架構。Omega架構通過流處理系統WASP實作實時連續的流處理或批流一體處理,并通過存儲于實時數倉的快照視圖完成實時查詢,進而解決了傳統Kappa架構落地困難、Lambda架構難以保證資料一緻性的問題,并極大簡化了資料架構。

如何選擇金融級雲資料平台?

(Omega架構邏輯圖)滿足使用者“既要也要”的要求,偶數科技的突破性技術和前瞻性觀點并非空中樓閣,而是以多年的行業實踐和使用者洞察為基礎支點形成的經驗沉澱。偶數科技正在賦能使用者的過程中不斷完成自我疊代,探索最佳實踐。

結語

作為企業數字化轉型的先鋒行業,銀行業自80-90年代起就已經開始了資訊化探索,在自手工統計到資訊化再到數智化的較長技術發展過程中,大多數的銀行形成了較為複雜的技術體系。偶數科技率先洞察到了銀行面對大資料時代的高性能、安全性、可靠性、穩定性需求,早在2020年就與建設銀行成立了高性能大資料聯合實驗室,共同探索金融級資料平台的實施路徑。銀行業是所有行業中對應用的自主可控、高可用、高可靠性的要求最高的領域之一,偶數科技解決方案在銀行業的落地正是其技術實力和對使用者痛點了解力的明證。除了銀行業以外,截至目前,偶數科技的産品和解決方案已在非銀金融、電信、政府、能源、制造和網際網路等行業中被廣泛的部署和應用。同時,其商業模式的可行性與成長性也得到了資本的認可,連續獲得了國内頂級投資機構紅杉中國、騰訊、紅點中國與金山雲的四輪投資。而随着未來物聯網、工業網際網路的逐漸建立,大資料領域将面臨越來越廣的資料來源、越來越大的資料量、越來越多的非結構化資料、越來越豐富的應用場景和越來越複雜的技術棧,大資料處理和分析的難度将進一步提升。集合了衆多元件的強大能力,OushuDB 已然成為企業打造金融級資料庫平台的最佳選擇之一,将會持續的為包括金融在内的等衆多行業使用者提供更加優秀的資料服務。‍

繼續閱讀