天天看點

資料庫40年:從一家獨霸,到國産崛起

作者:華商韬略
資料庫40年:從一家獨霸,到國産崛起

  23年磨一劍。

  文 | 華商韬略 熊劍輝

  今天,見證國産資料庫的崛起。

  【扼住資料的“咽喉”】

  5月22日,華為完成一件了不起的大事:全球88家子公司的MetaERP系統,成功實作大規模切換。

  這是一場史無前例的“全球總動員”。

  整個切換過程耗時15小時,地跨亞太、歐洲、中東中亞、南部非洲、拉美5個地區部、6個賬務共享中心、75個國家,涵蓋ICT、華為雲、終端等多個産業。

  從未有哪家中國企業,進行過規模如此之大、範圍如此之廣、複雜程度如此之高的軟體工程,這也是“華為有史以來最廣泛、最複雜的轉型項目”。

  ERP(Enterprise resource planning企業資源計劃),是企業對人員、資金、業務等進行全方位管理的系統軟體,也是最關鍵、最核心的企業級IT應用。過去20多年,華為一直使用甲骨文ERP,以支撐其每年數千億、遍布170多個國家和地區的龐大業務。

  但2019年,美國突如其來的“制裁”“斷供”,令甲骨文中斷了ERP的更新服務。

  而ERP軟體的底座,是号稱“軟體皇冠上明珠”的資料庫。是以,很多ERP隻是搞定了面上的“一張皮”,卻搞不定内在的“一團魂”,無法替代甲骨文的ERP。

  有人評價,華為很可能是以重返“農業社會”。

  上承軟體、下接硬體的資料庫,就這樣變成了大國博弈的“殺手锏”。

資料庫40年:從一家獨霸,到國産崛起

  但這種“抵背扼喉”的緻命壓制,對華為來說卻隻道是尋常。

  30多年前,華為還是一家初創小公司,靠着幫珠海、香港的公司做代理賣交換機,賺到了“第一桶金”。

  但看華為賣得好,供應商很快就“斷供”了。

  用任正非的話說:當時根本無路可走。

  被逼無奈下,華為隻好自主研發交換機,并大獲成功。

  類似的“被逼無奈”不計其數,終于把一隻“蟲”生生逼成了一條“龍”。

  2019年被制裁後,華為不得不在“極限生存”條件下自研“一切”:從晶片、電路闆,到作業系統,以及ERP、資料庫。

  終于——

  2023年5月22日,華為成功實作MetaERP系統大規模切換,相當于宣告MetaERP系統、GaussDB資料庫的研發取得全面成功。

  用華為董事、品質流程IT部總裁陶景文的話說:“我們已經突破了封鎖,我們活了下來!”

  今天(6月7日),華為雲再度揭開了新一代金融級分布式資料庫GaussDB的帷幕。

  孤注一擲下,GaussDB實作兩大突破:

  一是核心代碼,100%自主研發;二是,GaussDB是國内首個軟硬協同、全棧自主的資料庫,即可以實作從晶片、伺服器、存儲、網絡,到作業系統、資料庫的全棧遷移及替換。

  要知道,晶片、作業系統、資料庫,号稱現代資訊技術的三大核心基礎。

  但不論是X86的CPU,Windows、Linux的作業系統,還是Oracle、MySQL的資料庫,基本都被美國把持。

  資料庫的重要程度,更是不亞于晶片。

  大到國家統計、金融交易,中到企業管理、财務資訊,小到聊微信、刷抖音、點外賣、玩遊戲……APP、小程式的背後,都是資料庫作為底層核心在支撐。

  而且,資料庫都是7X24小時不間斷運轉,不僅要安全可靠、無時延快速地記錄每筆資料,甚至在“618”“雙11”這種資料洪峰面前,都不能有絲毫錯誤。

  2020年“兩會”期間,全國人大代表、合肥工業大學應用數學研究所所長檀結慶對媒體表示,甲骨文、IBM、微軟等國際廠商把持着87.7%的市場佔有率,資料庫行業基本被美國壟斷。

  由于牽一發而動全身,資料庫産品極具黏性,導緻在最核心的金融、能源、通信等關鍵領域,即便有全面斷供的風險,也鮮有人動得了Oracle們的“奶酪”。

  如今華為雲GaussDB的問世,正試圖擊破這塊“鐵壁”。

  【資料庫“帝國”大裂變】

  資料庫時代的潮水變遷,要追溯到40多年前。

  上世紀70年代,IBM的天才研究員科德,把關系型資料庫的理論、模型和查詢語言SQL,一并琢磨了出來。

  隻不過“藍色巨人”依然沉迷于大型計算機,結果讓“矽谷大忽悠”拉裡·埃裡森抓住了史詩級的機會。

資料庫40年:從一家獨霸,到國産崛起

  1977年,埃裡森創立甲骨文,并根據科德的論文研發出Oracle資料庫。

  早期的Oracle相當不靠譜,但埃裡森還是忽悠了美國海軍、中情局、國家航天局當“冤大頭”,賺到了“第一桶金”。

  上世紀90年代,甲骨文的Oracle、IBM的DB2、微軟的SQLServer等資料庫開始各領風騷。Oracle占據市場先機,日益成熟,令甲骨文的營收連續12 年翻番,成為全球第二大軟體公司,一度令埃裡森問鼎“矽谷首富”。

  1996年,免費開源資料庫MySQL在瑞典誕生。它原本能跟Oracle掰掰手腕,随着2009年甲骨文完成對SUN公司的收購,MySQL也一并被甲骨文收入囊中。

  這意味着,Oracle(閉源)和MySQL(開源)兩條技術路線,都徹底在甲骨文的掌控之中。

  美國資料庫産業在大殺四方,此時中國的資料庫技術卻囿于象牙塔。

  結果90年代末,甲骨文們一到中國,就接連斬獲金融、電信、航空等領域的超級大單,占據了絕對壟斷地位。

  關系型資料庫,成就了甲骨文們統治全球的黃金時代。

資料庫40年:從一家獨霸,到國産崛起

  但2008年,時代的洪流突然逆轉:NoSQL(非關系型資料庫)誕生了。

  驅動這場新變革的,是電商。

  2007年,阿裡98%的系統和業務都跑在Oracle資料庫上,IT開銷暴漲。

  但2009年,即便淘寶躍升為Oracle全球居前的超級應用叢集,叢集的CPU跑冒了煙,還是扛不住“雙十一”的超級洪流。

  戰無不勝的Oracle,不靈了!

  這背後,是圖檔、語音、視訊等非結構化資料呈現指數級暴漲,必須用“雲計算+NoSQL”的辦法來解決。

  比如,你可以把關系型資料庫,看成一家“淄博燒烤店”。在Oracle支援下,它每天能招待1000位客人,爆滿了。

  但現在,“店裡”又湧進了1000萬人。他們不但要吃燒烤,還要買紫米餅、逛八大局、看鹧鸪戲……

  這種天量的、爆發式增長的非結構化資料,瞬間就會沖破關系型資料庫的天花闆。

  是以,“燒烤店”必須更新成雲端“燒烤城”。

  于是,一場由關系型向非關系型、由集中式向分布式轉型的資料庫裂變,爆發了!

  在分布式資料庫裡,資料庫不會再集中于單機或一地,而會将查詢、存儲、事務管理等核心功能,擴充到多機或多地。

  于是,200萬人在A區吃燒烤,300萬人在B區逛街,400萬人在C區看戲……

  另外,雲計算通過存算分離、彈性配置設定等手段,還能打破資源瓶頸,讓分布式資料庫自由伸縮、無限擴充。

  也就是說,哪怕“燒烤城”突然湧進1億人,分布式資料庫“遇強更強”,依然能應對自如。

  這是傳統的關系型資料庫,根本無法比拟的。

  如今,NoSQL更進一步發展到NewSQL(新關系型資料庫),以便整合傳統關系型資料庫和NoSQL的優勢,使其在OLTP(聯機事務處理)和OLAP(聯機分析處理)上都能大顯身手。

  據Gartner預測,2024年,全球資料庫市場規模突破千億美元,而分布式資料庫将是最主要的市場增量。

  那麼,隻要對準雲化、分布式資料庫的城牆口沖鋒,國産資料庫就一定會迎來“換道超車”的大機會。

  【曆時23年,強渡“大渡河”】

  實際上,華為下決心自研資料庫的初衷,一點都不“高大上”。

  2000年,華為的電信業務迅猛增長。但客戶這邊業務結算耗時長,甚至結算不了的狀況,讓人大傷腦筋。因為電信業務定制多、改動大,隻能用國外資料庫。可一旦出問題,“原廠大佬”又請不動。

  客戶很着急,問題很嚴重。華為人隻能壯着膽子,試着改一改,寫起了資料庫代碼。

  事就是這麼幹起來的。

  但自研資料庫,決不能拿客戶當“小白鼠”。是以,“狗糧”必須自己啃,資料庫先在内部用。

  結果一用,問題不斷,罵聲一片,“吐槽”的郵件雪片般飛舞,甚至捅到高管層,讓研發團隊大呼“要命”。

  所有人都不自覺在拿業界的最高标準Oracle,來要求初生的華為資料庫。

  而開發資料庫的核心,更像在刀尖上起舞。因為如果第1顆“扣子”沒“扣正”,你可能并不知情;但等問題一暴露,你發現已經“扣歪”了10萬顆“扣子”了。

  這時候,多年的心血付之一炬,架構又要推倒重來,沒有人扛得住這樣的泣血折磨。

  但是正是在客戶的“罵聲”、華為自身内部業務的打磨下,經過多個技術路線融合、多個版本疊代下,才形成了今天的分布式資料庫GaussDB。

  2022年4月,中國郵政儲蓄銀行(以下簡稱“郵儲銀行”)新一代個人業務分布式核心系統成功上線,一舉成為全球最大的銀行分布式新核心系統。

  核心系統是銀行的“大腦”和“心髒”,不但承載關鍵任務,而且在億萬次存儲、計算中不容絲毫閃失。

  以往,這是Oracle才能染指的“禁區”。

  但金融服務線上化,使交易頻次極速提高,傳統Oracle資料庫的容量瓶頸、性能支撐、業務負載越來越大,系統資源缺乏彈性,擁堵成了家常便飯。

  這次,華為雲GaussDB無縫銜接,打破“鐵律”。

  新系統上線後,郵儲銀行實作日均20億筆、峰值6.7萬筆/秒的超強交易處理能力。即便面對6.5億客戶、4萬多個網點的資料沖擊,依然遊刃有餘。

  全天聯機平均耗時從93毫秒減少到65毫秒,批處理時間從4.5小時縮短到3小時,季度結息時間從140分鐘縮短到25分鐘,性能、效率大幅提升。

  2023年4月,在“英雄強渡大渡河”MetaERP表彰大會上,華為宣布:自主可控的MetaERP完成了對舊ERP的完全替換。

  在這場世界級難度的攻堅戰中,華為雲GaussDB作為MetaERP的智能資料底座,憑借其高彈性、高性能、高可用等特性,通過了這場終極挑戰。

  首先,ERP每天要處理海量的業務和資料,其中包括各類應用與ERP的邏輯內建點3950個、資料內建點27000個,以及銷售訂單行76萬、應付開票行21萬、會計分錄行1500萬……

  由于華為的業務極度複雜,賬本業務量幾乎是業界第一,對存儲空間要求極高。

  但華為雲GaussDB通過GTM-Lite技術,實作了計算與存儲的自由水準擴充,并能根據業務壓力動态伸縮讀節點,讀吞吐量提升2倍,主/讀節點間資料同步秒級時延;容量更從單庫TB級擴充到PB級;支援業務壓力自動負載均衡,一舉解決了傳統資料庫擴充性不足的問題。

  是以,即使面對超大規模業務,以及ERP海量資料存儲和并發通路的壓力,華為雲GaussDB照樣能輕松應對。

  其次,ERP頻繁的業務查詢,需要系統在面對成倍并發量時,性能依然保持穩定。

  為此,華為雲GaussDB通過使用大并發線程池技術,不僅大幅提高系統響應速度,還最大程度節省了資源;加上全新上線的Ustore存儲引擎,能将“有效資料”與“垃圾資料”分離存儲,同時采用多版本索引技術,有效提升了存儲空間的效率和性能。

  由此,華為雲GaussDB性能抖動降低70%,整體性能提升10%以上;而3000萬筆/天的會計分錄峰值處理,從30分鐘延時變成了實時處理,效率大幅提升。

  再次,在高可用性方面,華為雲GaussDB還提供了同城AZ(實體資源)内、跨AZ、異地跨Region的兩地三中心容災方案和1000公裡以上的城市級容災能力。

  哪怕故障的發生不可避免,跨AZ切換時間短于1分鐘,城市級故障分鐘級恢複,并確定每一筆交易準确記錄,真正實作“資料零丢失、業務永線上”。

  23年磨一劍。今天,人們得以見證GaussDB的崛起。

  【重構資料庫世界“新版圖”】

  在資料庫的世界中,在海量資料、任務并發的情況下,如何讓資料處理“不出錯”?這是一件極端困難的事情。

  這仿佛是在1000萬人湧動的“燒烤城”裡,要求不走丢人、不傳錯菜、不走錯路。

  怎麼可能?

  但在金融、電信、能源、航空等系統中,極度苛求“穩定壓倒一切”。

資料庫40年:從一家獨霸,到國産崛起

  而憑借高性能、高可用、高安全、高智能、高彈性,以及易部署、易遷移的特性,GaussDB做到了。

  2023年,GaussDB在工行核心信貸系統中,上線了業界領先的同城雙叢集RPO=0(即故障恢複後資料零丢失)方案。

資料庫40年:從一家獨霸,到國産崛起

  這個方案的強大之處在于,同城兩大資料中心,通過資料庫軟體獨立部署,實作了軟硬體故障完全隔離。是以,一個資料中心更新(或癱瘓),完全不影響備用中心正常展開業務。

  這一架構,真正實作了7*24小時不間斷服務,雙叢集下RPO=0,達成極緻的同步性能。

  在各類專業測評中,GaussDB拿獎拿到手軟:

  2022年11月,通過資料庫産品最高标準EAL4+認證,成為國内唯一獲得國際CC認證的産品;

  2023年2月,完成中國信通院《分布式事務型資料庫穩定性測評》;

  3月,完成信通院《全密态資料庫基礎能力測評》;

  4月,榮獲中國電子學會科學技術獎科技進步“一等獎”。

  此外,GaussDB還通過了信通院防篡改、智能化、分布式事務基礎能力三大專項嚴苛評測。

資料庫40年:從一家獨霸,到國産崛起

  所謂防篡改,就是極端情況下,GaussDB依然具備識别風險、防止篡改、備份還原的能力;甚至在記憶體中實施運算态加密,實作了資料全生命周期内的安全保護,成為業界第一款純軟全密态資料庫。

  所謂智能化,就是GaussDB作為全球首款AI-Native資料庫,提供了從開發到運維的全流程“自動駕駛”能力,并通過趨勢預測算法,幫管理者推理預警、智能決策。

  所謂分布式事務型資料庫基礎能力,就是一旦出現高并發需求,GaussDB瞬時反應,就近調集分布式的CPU、記憶體、存儲等系統資源,進而實作秒級彈性伸縮的能力。

  而GaussDB全棧自研的軟硬體,更是打通了資料庫的“任督二脈”,足以将性能發揮到極緻。

  如此強悍實力的背後,則是全球700+授權專利、80+頂會論文、2000+核心研發人才,在提供強有力的支撐。

  80+ISV夥伴聯合構架200+解決方案,使得GaussDB涉及的行業,涵蓋金融、證券、辦公OA、企業ERP,資料庫運維管理、備份恢複、遷移工具等。

  GaussDB的客戶,則遍及金融、電商、汽車、制造、能源等行業,并在工行、建行、農行、郵儲銀行、華夏銀行、中石油、中海油等規模落地,并擁有用友、金蝶、寶蘭德、神州資訊等生态夥伴。

  我們看到,國産資料庫正在崛起。

資料庫40年:從一家獨霸,到國産崛起

  在IDC最新釋出的《2022年上半年中國關系型資料庫軟體市場跟蹤報告》中,在本地部署模式市場中,華為雲資料庫憑借GaussDB以16.59%的份額排名國内第一。自2020H1以來,GaussDB已經連續五次蟬聯第一,在國内關系型資料庫市場持續領跑。

  舊世界在崩塌,新世界在重塑。時代的轉換,總令人措手不及。

  今天,國産資料庫早就過了“能用”的階段,正趨于成熟,不斷向“好用、易用”的階段邁進。面對資料庫這類“國貨”,國人應該更包容、更開放、更自信地使用,促其越用越靈、越用越穩,加速其成長。

  而大國崛起的大背景,正是以華為雲GaussDB為代表的中國資料庫真正的大契機。

  在這個過程中,哪怕有人不斷搞斷供、搞制裁,希望籍此扼殺中國企業,但除了遭遇一次次失敗,隻能激發起中國人更蓬勃、更強大、更堅韌的生命力、創造力。

  所有的“壟斷”都是用來打破的,面對這場資料庫的“國運之戰”,華為再次證明:

  “中國有能力做出和世界頂級資料庫媲美的産品。”

  ——END——

  歡迎關注【華商韬略】,識風雲人物,讀韬略傳奇。