數字經濟迎來了快速的發展，傳統的商業資料庫已經難以滿足和響應快速變化，持續增長的業務訴求。雲原生分布式資料庫帶來了四大特性，很好的解決了企業使用者的核心訴求。利用資源池化，彈性擴充，智能運維、離線上一體化等核心的特性，資料庫全面地進入雲原生+分布式的時代。本次演講邀請了阿裡巴巴集團副總裁李飛飛（飛刀）為大家分享資料庫的前瞻趨勢，解讀雲原生如何點亮資料上雲之路。
演講嘉賓簡介：李飛飛（飛刀），阿裡巴巴集團副總裁，進階研究員，ACM傑出科學家。
上司雲原生資料庫PolarDB和雲原生資料倉庫AnalyticDB等多款自研資料庫産品。笃信技術與科研創新的力量，爬山、跑步、野外徒步也是他的愛好。繁忙的工作之外，還特别喜歡閱讀自然科學、曆史、人文地理和時政。堅持做有興趣，有passion的事情。
以下内容根據演講視訊以及PPT整理而成。
點選觀看回放 更多課程請進入“ 資料庫大講堂”了解
本次分享主要圍繞以下五個方面：
一、背景介紹
二、雲原生分布式資料庫PolarDB-X
三、雲原生資料倉庫AnalyticDB
四、雲原生資料湖分析Data Lake Analytics
五、産品實踐落地
如今數字經濟迎來了快速的發展，從線上教育到遠端辦公，直播購物到傳統的政企，各個行業都成為了數字經濟的新亮點。企業業務全面向數字化、線上化、智能化演進。企業面臨呈指數級遞增的海量存儲需求和挑戰，業務有更多的熱點和突發流量，企業又需要降本增效，進行更好的智能化資料決策。傳統的商業資料庫已經難以滿足和響應快速變化，持續增長的業務訴求。資料規模在爆炸式增長，資料在不斷地加速上雲。
雲原生分布式資料庫帶來了四大特性，很好的解決了企業使用者的核心訴求。利用資源池化，彈性擴充，智能運維、離線上一體化等核心的特性，資料庫全面地進入雲原生+分布式的時代。那究竟什麼是雲原生分布式資料庫呢？下面來一探究竟。
1.釋出PolarDB-X兩大全球企業級功能
雲原生就是用Shared Everything和Shared Storage架構實作資源池化，資源解耦，存儲計算分離。分布式則是用Shared Nothing架構實作資料水準分片，水準拓展。如果将兩者完美的結合在一起，就帶來了雲原生分布式資料庫，将Shared Nothing、Shared Everything和Shared Storage的特性完美地結合在一起，兼具了彈性、高可用、水準拓展的特性。
今天我非常榮幸的在這裡正式釋出阿裡雲自研的雲原生分布式資料庫PolarDB-X。PolarDB-X是阿裡雲自主研發，采用Shared Nothing+Shared Everything+Shared Storage架構的雲原生分布式資料庫，解決超高并發吞吐，海量資料存儲下的線上事務型資料庫的瓶頸問題。為了更高效地支援線上業務高并發交易，以及線上複雜查詢的訴求，今天将釋出PolarDB-X兩大全球企業級功能，混合負載HTAP和全局二級索引透明分布式。
功能一：混合負載HTAP
線上資料庫既要承載高并發海量實時交易，又需要支援線上業務部分複雜查詢分析需求。傳統的分布式資料庫需要通過ETL方式，将資料異步傳輸至資料分析平台。線上複雜查詢的資料一緻性和實時性無法得到嚴格的保證，資料傳輸鍊路運維複雜度高，業務使用成本上升。
利用PolarDB-X的HTAP混合負載特性，同時覆寫高并發實時交易和部分線上資料分析處理的場景，實作高并發交易，線上複雜查詢加速一體化。利用智能混合負載技術、資料混合強一緻技術、資源鍊路強隔離技術、和線上分析加速技術，使得線上交易和線上複雜查詢的性能大大提升，效率提升至5~10倍以上。
功能二：全局二級索引透明分布式
同時為了更高效地支援線上業務，PolarDB-X釋出了全局二級索引功能，可以支援多元段拆分，提供透明分布式拆分能力，滿足業務對不同次元查詢拆分的訴求。基于分布式事務確定索引資料與主表資料強一緻，資料可靠，不丢失。
全局二級索引能夠幫助客戶做什麼呢？下面通過典型的電商買賣家場景來展示全局二級索引的能力。訂單表通常由買家的ID進行拆分，當賣家進行訂單查詢時，資料庫則需要掃描全部實體表，導緻資料庫資源負載飙高，整體吞吐處理能力下降。通過使用PolarDB-X為賣家ID建立全局二級索引，賣家訂單查詢僅需查詢索引表，以及回表兩次查詢，即可完成整體的SQL操作。資料庫整體處理效率可提升數百倍，實作了透明的分布式。
2.PolarDB-X應用案例
PolarDB-X支撐天貓“雙11”活動，完美抵禦全球最美，最高的交易洪峰
PolarDB-X連續多年穩定支撐天貓“雙11”活動。在2019年的“雙11”，阿裡巴巴集團電商核心業務全面采用PolarDB-X，支撐了每秒高達8700次的TPS峰值，每秒55萬筆的交易訂單。在零點有135倍的業務瞬間增長，完美抵禦了全球最美，最高的交易洪峰。
中國郵政-新一代寄遞平台
此外，在很多事關國計民生的社會基礎服務背後也有PolarDB-X的身影。中國郵政在國家的物流行業中起着中流砥柱的作用，保障其物流平穩生産的核心資訊系統。新一代寄遞平台就采用了PolarDB-X，以及雲原生資料倉庫AnalyticDB。
中國郵政緻力打造我國快遞行業的國家隊，而新一代寄遞平台是保障中國郵政物流平穩生産的核心資訊系統。在傳統商業型資料庫無法有效支撐的情況下，新一代寄遞平台基于雲原生分布式資料庫PolarDB-X建構，能夠存儲PB級業務資料，抵禦千萬級并發規模。2019年“雙11”訂單業務峰值高達1億以上，收寄量業務峰值超過7千萬，投遞業務峰值達到3千萬，有效支撐了“雙11”等業務高峰期的生産資料處理。并在今年保證疫情期間防疫物資的運送方面發揮了重要作用。依托阿裡雲技術建構的線上業務平台服務了5000多萬線上使用者，支撐此平台的PolarDB-X資料庫已累計了上十億條業務資料。在雲原生資料倉庫AnalyticDB（ADB）基礎上建構的資料分析平台支撐了數十億寄遞資料，以及與客戶關系資料的多元分析。未來，中國郵政還将在雲計算體系建設方面積極探索，加強于阿裡雲的技術合作。
1.資料分析使用者痛點
PolarDB-X的新增特性很好地解決了分布式雲原生條件下線上事務型業務的痛點。在分析領域其實也面臨着類似的問題和挑戰。傳統的自建分析系統不得不面對計算存儲擴充、計算成本、計算分析實時化、以及多種架構等一系列的挑戰和問題，這些問題也困擾着很多的企業，無法更好的使用資料分析，發揮資料的價值，促進業務發展。基于前面提到的雲原生的理念，從彈性、功能、成本、性能等角度解決上述使用者的痛點，包括存儲計算獨立，按需付費，按量使用，ETL線上分析一體化，實時的增删改查，實時計算等。通過雲原生、按需付費、離線上一體化、實時性、實時增删改查，OLAP資料庫将全面地進入雲原生時代，實作會資料庫就會大資料。
2.阿裡雲資料産品大圖
下圖為阿裡雲資料産品大圖，核心産品包括雲原生資料倉庫AnalyticDB，雲原生資料湖分析Data Lake Analytics（DLA）等。通過這些産品的組合，可以很好地滿足使用者對複雜資料分析場景的各類需求。下層有很多多源異構的資料源，比如RDBMS、對象存儲OSS、日志服務、大資料生态等, 資料倉庫ADB和資料湖DLA都可以提供多源異構的資料接入能力。
3.AnalyticDB重磅更新釋出
為了讓分析計算更簡單，更好地滿足企業面對突發流量需求，很高興與大家一起見證AnalyticDB的重磅更新釋出。
ADB MySQL版本
ADB MySQL版本高度相容MySQL，利用雲原生的彈性模式能力，讓使用者在購買基礎資源的基礎上按時間段或資源需要拓展其計算資源或存儲資源能力，滿足使用者對差異化資源負載或業務峰值的資源需求。這種雲原生的特性推出可以大大降低使用者的實際使用和購買成本。避免了使用者需要預留大量資源滿足業務峰值的挑戰。
ADB PG版本
此外，在ADB PG版本上釋出了自研的Laser引擎，新增向量計算引擎，列式記憶體模型，JIT加速，列式存儲優化等手段，較原生引擎大幅度提升性能，例如較Greenplum的原生引擎有了一倍以上的性能提升。ADB PG全面相容Greenplum，同時高度相容Oracle，RAC，Teradata等傳統數倉，功能豐富，成熟度高，具備離線上一體化的能力，非常适合金融，政企，營運商等使用傳統Oracle，RAC，Teradata等數倉使用者低門檻更新至雲原生數倉。
4. AnalyticDB重新整理TPC-H評測性能榜單
多款重磅釋出的新功能和特性極大提升了雲原生數倉的能力。在2020年上半年參加了國際标準化組織TPC-H評測，ADB重新整理了TPC-H 30TB的性能榜單的世界紀錄。相比第二名，微軟SQL Server 2019 性能提升290%，成為首個登上榜單的國内廠商。
針對複雜分析場景的TPC-DS 10TB的權威基準測試，ADB在性能名額上重新整理了世界紀錄，榮登榜單第一名。在測試過程中，充分利用了雲原生的彈性、快速擴容和計算加速的能力，在有限資源下實作了性能、成本效益雙料第一，領先第二名三倍以上。
1. 雲原生Serverless 技術
此次，還有重磅更新的雲原生資料湖分析Data Lake Analytics（DLA）。利用雲原生Serverless技術，DLA可以提供例如Serverless Spark能力，支援ETL、流、機器學習、使用者可程式設計等一系列豐富的企業級功能。雲原生Serverless架構有效地降低了企業資料分析和計算的成本，性能較自建的分析系統，例如Spark提升了300%以上，可實作一分鐘彈出300個節點。通過Serverless方式大大降低使用成本，同時輔助UI和診斷工具，提供多種異構資料的通路方式，提供多源異構資料湖的易用性。
1.ADB及DLA産品落地
雲原生資料倉庫ADB和資料湖分析DLA已經在國内多個使用者落地，覆寫從金融、制造、零售、航空、物流、政務等多個頭部企業，包括中國南方航空、中國郵政、海爾、美的、以及大衆點評等泛網際網路客戶。助力特步核心報表從分鐘級響應到秒級響應，提速80%。在大衆點評的點評微生活場景下，ADB助力報表秒級傳回，資料魔方提速40倍，有效地實作了企業降本增效，資料分析離線上一體化的目标。
2.助力企業上雲：萬倉計劃&升艙計劃
為了助力企業上雲，設計和推出了兩個計劃，萬倉計劃和升艙計劃，結合阿裡雲資料平台和合作夥伴一起助力傳統企業實作從傳統數倉到雲原生數倉的更新。一切業務線上化是數字化創新，數字化轉型的本質，資料庫又是數字化創新和數字化轉型的重要一環。阿裡雲自研的雲原生分布式資料庫已經深入各行各業，現在已經在全球領先的營運商（中國移動）核心業務系統中試點，具有裡程碑式的标杆意義。
3.中國移動廣東公司試點
中國移動廣東公司是目前國内資訊通信行業中規模最大的省級公司，為上億個人客戶和上百萬企業使用者提供服務。傳統資料庫在存儲計算瓶頸、備份效率、資源使用率等方面面臨諸多挑戰。營運商的業務場景與網際網路業務更為複雜，需要資料庫系統之間具備更好的相容能力，以目前廣東移動和阿裡雲試點的廣州庫業務支撐系統為例，其承載了2000多萬的使用者規模，單庫容量約40T，日通路量幾十億，峰值連接配接數達到12000個。
中國移動廣東公司與阿裡雲技術團隊一起進行深入的技術探讨以及上層應用的疊代更新，PolarDB作為雲原生資料庫采用存儲和計算分離的架構，所有計算節點共享一份資料，提供分鐘級的配置升降級，秒級的故障恢複，全局資料一緻性和高效的資料備份容災能力，既融和了穩定、可靠、高性能、可擴充的特征，又具有開源雲資料庫簡單、開放、自我疊代的優勢，非常符合中國移動廣東公司對于資料庫的要求。目前，PolarDB資料庫已經完成部分試點地市資料遷移和業務上線，後續中國移動廣東公司非常有信心與阿裡雲一起在更多的核心業務場景探索創新，以更好的網絡服務更多的客戶。
4.進入雲原生分布式資料庫+雲原生分布式資料倉庫的時代
通信行業一直是傳統商業資料庫的優勢領域，本次的業務落地和試點，充分展現了阿裡雲阿裡雲原生分布式資料庫的産品能力，已經得到了傳統行業客戶，以及泛網際網路企業客戶的高度認可。我們已經進入了從傳統OLTP線上事務庫和+OLAP線上分析庫全面更新至雲原生分布式資料庫，雲原生分布式資料倉庫的時代。