看雲栖說雲栖—— 從 DB 到 BD 的橋梁

必須認識到，我國社會主要沖突的變化，沒有改變我們對我國社會主義所處曆史階段的判斷，我國仍處于并将長期處于社會主義初級階段的基本國情沒有變，我國是世界最大開發中國家的國際地位沒有變。

—— 《十九大報告》

拜軟硬體技術的發展所賜，很大一部分想要做“大資料”的使用者，現在用阿裡雲分析型資料庫（ADS）其實就已經夠用了。

本文内容取自2019年杭州阿裡雲栖大會《下一代雲資料分析專場》。

趨勢分析和産品釋出，趨勢有這些：

• 市場趨勢：2020年全球資料規模約為40zB，2025年要增長430%；2023年，75%的資料庫都在雲上；2022年新業務将會采用實時分析的比例達到50%
• 技術趨勢：從單機進化到分布式架構；OLTP（線上事務處理）和OLAP（線上資料分析）将融合，HTAP（離線分析和線上資料處理混合負載）成為主流；支援多可用區的大規模擴充、支援極速恢複和複制，資料分析也要雲原生；結構化資料和非結構化資料将能夠融合分析；雲邊一體化的資料分析将覆寫邊緣計算節點；雲分析産品架構從使用傳統硬體到使用軟硬體一體化的架構。

釋出了兩個産品，其中一個是基于MySQL的AnalyticDB from MySQL 3.0（ADS for MySQL），有這些更新：

• 雲原生架構，基于容器技術
• MySQL相容性提升
• 支援從GB級更新到100PB級
• 寫入性能提升50%、查詢性能提升40%。
• 讀寫強一緻，寫入資料立即可見
• 資料更可靠，支援隻讀執行個體，同城容災。

還有一個是基于PostgresSQL的AnalyticDB for Greenplum 6.0版本（ADS for PostgreSQL），這個産品目前正在公測中，12月30日結束公測并正式商用，這個版本的更新有這些：

• HTAP混合負載、支援更高并發，更快寫入和更新性能，典型 OLTP 場景 TPC-C 達到 10w tpmc；Sysbench 支援 select 15w tps, insert 5w tps，update 2w tps。支援全局死鎖檢測。
• 更多新特性、針對數倉中的次元表，通過建立複制表（DISTRIBUTED REPLICATED clause），可以大量減少資料傳輸，提升查詢效率；ZSTD壓縮算法，較之前 zlib 壓縮算法，提升三倍的壓縮和解壓性能。

Greenplum 6.0到底有哪些更新？還是由Greenplum的開發者來來說說吧，阿裡邀請到了來自Pivotal 的Greenplum 研發總監姚延棟做了《全新的Greenplum 6.0 核心優化解讀和7.0展望》的演講。

Greenplum6.0使用PostgreSQL 9.4核心，主要有以下改善：

• HTAP性能提升，OLTP的性能提升70倍，支援更多的資料類型和SQL特性（大表關聯、分組聚集、視窗函數、JSON），讓Greenplum從一個OLAP資料庫變成了真正可用的HTAP資料庫。
• 全新高可用機制、使用PostgreSQL原生的流複制技術，網絡開銷低。
• 彈性、支援線上不停機擴容。
• 支援和機器學習平台內建、包括MADlib、TensorFlow、提供原生R語言支援。

在客戶分享環節，阿裡雲邀請到了在國内排名第三的手機遊戲公司莉莉絲（刀塔傳奇的開發商，第一名騰訊、第二名網易）做了名為《利用ADB打造遊戲行業新一代實時資料營運平台》的演講。

莉莉絲原來使用複雜的大資料平台進行資料分析，後來切換到ADS，主要原因是：

• 快、比POLARDB這種OLTP快10倍以上（OLAP場景），比presto也能快數倍，QPS數百到上萬。
• 靈活、節點和配置都可以随時升降，可以随着資料增長逐漸更新。
• 易用、從presto遷移過來，計劃沒有任何改動成本，mysql遷移大部分語句相容。
• 規模擴充、動态彈性擴容至數千節點，可以支撐我們到達騰訊的量級。
• 高并發、從10萬TPS到數百萬TPS，都可以支撐。

支援MySQL/PostgreSQL文法、可以快速上手、能支撐一個手遊公司的大資料平台達到騰訊的量級，還能兼顧線上事務處理。​我想，大多數公司做大資料，阿裡雲ADS就夠用上好一陣子了吧。

​