天天看點

中國資料庫OceanBase登頂之路九年積澱縮影,一切從零開始資料庫的前世今生,螞蟻金服自主研發之路複雜業務場景錘煉出來的分布式資料庫!差點“夭折”的OceanBase摘下皇冠上的明珠OceanBase進入商業化新時代

今年天貓雙11當天,OceanBase資料庫再次重新整理資料庫處理峰值,達6100萬次/秒,創造了新的世界紀錄。

在此之前一個月,據權威機構國際事務處理性能委員會TPC披露:螞蟻金服的分布式關系資料庫OceanBase,打破美國甲骨文公司保持了9年的世界紀錄,成為首個登陸該榜單的中國資料庫系統。

中國資料庫OceanBase登頂之路九年積澱縮影,一切從零開始資料庫的前世今生,螞蟻金服自主研發之路複雜業務場景錘煉出來的分布式資料庫!差點“夭折”的OceanBase摘下皇冠上的明珠OceanBase進入商業化新時代

作為全球首個應用在金融核心系統的分布式關系資料庫,螞蟻金服OceanBase的出現,是金融科技發展過程中極為重要的一步。

事實上,螞蟻金服OceanBase“登頂”之路絕非易事,卻又是理想主義使然!正如馬雲所講,“我不懂技術,但是我尊重技術。”

九年積澱縮影,一切從零開始

2008年,阿裡巴巴集團首席架構師王堅提出“去IOE”,即擺脫業務系統對IBM小型機、Oracle資料庫以及EMC存儲的過度依賴。2009年開始,阿裡舉全公司之力投入到雲計算的研發和使用中,随後在陽振坤帶領下啟動了OceanBase分布式關系資料庫項目。

從2011年雙11到2019年雙11,自主研發的OceanBase資料庫,以遠低于傳統商業資料庫的成本,更高的可用性,一次次地重新整理世界紀錄,打破了核心資料庫長期被傳統商業資料庫壟斷的格局。

2017年,OceanBase資料庫邁出了商業化關鍵的第一步,為南京銀行“鑫雲+”互金開放平台提供金融級分布式關系資料庫服務。此後,OceanBase不僅在西安銀行、廣東農信、人保健康險、招商證券、蘇州銀行、常熟農商行等金融機構的生産系統中投入運作,并且還出口到了印度和美國等地,為當地的支付業務提供資料庫服務。

資料庫的前世今生,螞蟻金服自主研發之路

以前,在以IOE為代表的傳統IT環境中,Oracle資料庫的地位根深蒂固。2008年王堅博士成為阿裡集團首席架構師,他意識到IOE架構對于阿裡長期營運成本的影響以及對未來業務發展的制約,不僅提出了“去IOE”的想法,還有力地推動了自研資料庫OceanBase的發展。

從2009年開始的雙11,每年産生和處理的資料量都在爆發式增長,如果一直采用Oracle資料庫的話,營運成本将是天價。另一方面,為傳統IT環境而設計的Oracle資料庫,并沒有考慮到網際網路的大規模、高并發、大容量等新興需求。為此,阿裡巴巴/螞蟻金服開始走上了自主研發的道路,從頭開始重新設計一個完完全全自主研發的資料庫産品——OceanBase。

本質上來看,OceanBase與Oracle一樣都是關系型資料庫,但Oracle是針對傳統業務場景而形成的集中式資料庫,而OceanBase則是面向高并發、大資料環境而誕生的分布式關系資料庫。由于是完全分布式架構,OceanBase工作時,把原來集中存儲和處理的資料分散到不同的機器上進行,系統的存儲和計算能力都可以通過增加或減少機器而實作水準伸縮,克服了傳統資料庫集中式系統無法水準伸縮的窘境。

從第一行代碼起步到今天超過百萬行代碼,支撐雙11的超高峰值以及螞蟻金服的全面業務,OceanBase可以說是一個劃時代的資料庫産品。正如螞蟻金服資深技術專家陳萌萌所言,“真正用分布式架構解決像螞蟻金服這麼大規模事務性需求的分布式資料庫,目前隻有OceanBase。”

複雜業務場景錘煉出來的分布式資料庫!差點“夭折”的OceanBase

由于資料庫的穩定性、正确性、高可用、高性能等苛刻要求,自主研發資料庫需要的是行業背景和企業實踐,這也是為什麼中國大多數企業、高校和科研機構無法在資料庫研發上取得突破性進展的原因之一。

幸運的是,OceanBase趕上了千載難逢的“天時”和“地利”的機遇。“天時”是當時網際網路的高并發帶來的資料庫的并發通路和資料量的百倍、千倍的增加,而傳統資料庫固有的集中式系統無法具備這種擴充能力。“地利”則是阿裡巴巴/螞蟻金服自有龐大的業務和資料庫需求,這不僅使得OceanBase有足夠的經濟價值,更為OceanBase的成長提供了良好的土壤和養分。

中國資料庫OceanBase登頂之路九年積澱縮影,一切從零開始資料庫的前世今生,螞蟻金服自主研發之路複雜業務場景錘煉出來的分布式資料庫!差點“夭折”的OceanBase摘下皇冠上的明珠OceanBase進入商業化新時代

事實上,OceanBase研發路上也幾經“夭折”。因MySQL就能滿足淘寶大部分業務需求導緻OceanBase團隊面臨解散,因業務系統改造量巨大導緻OceanBase幾個月都無法上線……所面臨種種的困境,都因得到了王堅、彭蕾、程立、劉振飛等阿裡巴巴/螞蟻金服衆多高管鼎力支援才化險為夷。

摘下皇冠上的明珠

從2010立項開始算起,OceanBase用了7年多的時間才在螞蟻金服取代Oracle成為了支付寶的賬務等資料庫,這對整個金融行業具有裡程碑意義。

2014年雙11,OceanBase僅處理10%的交易資料鍊;2015年雙11,OceanBase處理100%交易資料鍊和50%支付資料鍊;2016年雙11,全部交易資料鍊和支付資料鍊以及30%花呗賬務運作在OceanBase上;2017年雙11,包括整個賬務庫在内的全部核心系統都100%運作在OceanBase上;2019年雙11,OceanBase再次重新整理了資料庫處理峰值的世界紀錄,達到6100萬次/秒。

中國資料庫OceanBase登頂之路九年積澱縮影,一切從零開始資料庫的前世今生,螞蟻金服自主研發之路複雜業務場景錘煉出來的分布式資料庫!差點“夭折”的OceanBase摘下皇冠上的明珠OceanBase進入商業化新時代

差別于傳統集中式資料庫,OceanBase的根本特征是分布式架構,基于普通的PC伺服器建構的滿足金融級高可靠性以及資料一緻性的資料庫系統。事實上,OceanBase也被稱為原生的分布式關系型資料庫,其把所有與高可靠性及資料一緻性相關的問題在資料庫核心層面就解決掉,使得OceanBase真正具備高度內建、整體傳遞、對業務少侵入甚至無侵入的商業資料庫特征,同時也真正克服了單純依賴分庫分表的分層設計中所缺失的全局一緻及跨庫查詢等缺陷。

通過原生的分布式資料庫設計以及PAXOS協定等,OceanBase實作了高可用、強一緻、易用性、高性能、可擴充以及低成本。原先一台高端伺服器動辄幾十萬、幾百萬,而OceanBase僅用幾千元至幾萬元的PC伺服器即可。螞蟻金服進階研究員陽振坤表示,“OceanBase的成本效益已經達到了現有商業資料庫的5倍~6倍以上,未來還将更高。”

OceanBase進入商業化新時代

從2017年開始,OceanBase跟随整個螞蟻金服的金融科技開放,開始了向傳統金融賦能的實踐過程。同年OceanBase在南京銀行上線,為南京銀行“鑫雲+”網際網路金融開放平台提供金融級分布式關系資料庫服務,邁出了商用的關鍵一步。随後,西安銀行、廣東農信、人保健康險、招商證券、蘇州銀行、常熟農商行等也在生産系統中使用OceanBase。

中國資料庫OceanBase登頂之路九年積澱縮影,一切從零開始資料庫的前世今生,螞蟻金服自主研發之路複雜業務場景錘煉出來的分布式資料庫!差點“夭折”的OceanBase摘下皇冠上的明珠OceanBase進入商業化新時代

今天,針對企業普遍迫切需要的高性能交易處理+大容量商業智能的混合負載需求,OceanBase分布式關系資料庫将充分發揮自身水準擴充能力的優勢,進一步完善和優化OLTP+OLAP混合負載的功能和性能,為更多業務提供服務。

想要了解更多?

掃描下方二維碼關注11月19日“螞蟻金服雙11背後的技術:巅峰洞見·聚焦金融新技術”釋出會直播。

中國資料庫OceanBase登頂之路九年積澱縮影,一切從零開始資料庫的前世今生,螞蟻金服自主研發之路複雜業務場景錘煉出來的分布式資料庫!差點“夭折”的OceanBase摘下皇冠上的明珠OceanBase進入商業化新時代