天天看點

資料庫也能自動駕駛?DAS全天候給你保駕護航!

阿裡雲峰會直播位址

2020年6月9日,“全速重構”2020阿裡雲·線上峰會即将隆重召開。

在此次峰會上,阿裡雲資料庫重磅釋出雲原生分布式資料庫 PolarDB-X 、雲原生資料倉庫AnalyticDB、資料庫自治服務DAS、雲資料庫專屬叢集、圖資料庫GDB、雲資料庫Cassandra版、雲資料庫ClickHouse 7款跨時代産品,用技術傾情打造新數字時代的基石!

今天小編為大家傾情呈現全球首個資料庫自動駕駛雲平台DAS産品亮點!

過去10年,資料庫上雲俨然已成共識,雲資料庫相較于傳統線下資料庫,解決了資源、彈性、高可用、備份、監控等基本DB運維負擔。但如何用好資料庫,如何對資料庫進行快速診斷和持續優化,對一般應用開發者而言,依然充滿挑戰。

阿裡雲基于阿裡巴巴自身資料庫規模化運維的專家經驗,結合人工智能和機器學習技術,實作自感覺、自診斷、自修複和自安全的資料庫自動駕駛能力,今天依托于阿裡雲平台,推出資料庫自治服務,正式向雲上客戶開放。

DAS是業界首次以獨立雲服務的方式實作資料庫自治能力,推出六大核心自治特性,覆寫支援包括OLTP(RDS/PolarDB)、NoSQL(Redis/MongoDB)、OLTP(ADB)等各類資料庫引擎,并支援混合雲、SQL審計和風險識别等企業級資料庫運維特性,為客戶資料庫的穩定安全提供全方位保駕護航。

基于資料驅動、專家經驗和機器學習,從異常發現、根因分析、執行修複/優化操作、跟蹤評估、回報實作全流程閉環,無需人工幹預,實作資料庫的自治,保障資料庫持續穩定、高效運作。

DAS 具備 6大核心自治特性

7 x 24實時異常檢測:通過機器學習算法,實時對資料庫的Workload進行異常檢測,相比基于門檻值的告警方式,能夠更及時的發現資料庫的異常,而不是靠故障驅動;

異常自愈:DAS發現異常後,自動進行根因分析,定位到問題後,自動執行相關止損/修複/優化操作,幫助資料庫自動恢複,減少對企業業務的影響;

自動優化:基于全局workload和真實的業務場景,而不是基于單條SQL,持續的對資料庫進行SQL Review和優化,就像有一個不知疲倦的專業DBA一直在守護着您的資料庫;

智能調參:資料庫的參數成百上千,使用者的業務場景多種多樣,靠人肉的方式無法将參數調整為最優的配置,DAS和達摩院合作,通過基于機器學習技術,和智能壓測相結合,可以為每個資料庫執行個體的自動推薦最優的參數模版;

AutoScale:基于機器學習,自動對資料庫的業務模型、容量水位進行計算和預測,實作先知先覺式的自動擴縮容。

智能壓測:為使用者提供個性化的壓測服務,DAS可以自動學習業務模型,自動生成無限多的接近真實業務的workload,同時提供給使用者更豐富的壓測場景,幫助使用者解決大促、資料庫選型等等問題。

和自動駕駛一樣,資料庫自治服務,也不是一蹴而就的,我們将資料庫的自治能力劃分為5層:

  • Level-0:全部靠人肉,沒有任何工具/産品輔助
  • Level-1:提供基礎監控、告警等資訊,不輸出任何建議;
  • Level-2:在某些場景下,能夠輸出診斷或者優化建議,但是建議是否采納和應用,還是由人來決策,例如SQL診斷引擎
  • Level-3:在某些場景下,實作完全的自治,無需人參與,例如自動SQL限流、自動彈性伸縮
  • Level-4:實作資料庫的完全自動駕駛,目前DAS正在努力做到Level-4的過程中。

為了實作資料庫自治服務,我們已經實踐了6年。

從2014年開始,我們開始嘗試如何将DBA的經驗轉換成産品,為業務開發提供更高效,更智能的資料庫服務。我們就建構了基于規則的SQL診斷引擎,即輸入一條或者多條SQL後,SQL診斷引擎會直接輸出優化建議;

2016年,CloudDBA的web版釋出,同時也更新了SQL診斷引擎,在這個階段使用者可以直接在阿裡雲上通過C loudDBA直覺的檢視資料庫的負載,同時進行SQL診斷和優化。

2018年我們通過在阿裡巴巴的業務和場景,開始孵化和錘煉資料庫自治能力,

通過Self-driving Database Platform,截止到2020年4月已經自動優化了4200萬+的SQL、自動回收了超過4 PB的空間、自動優化了 27 TB的記憶體。

2019年11月,為了更好的服務客戶,我們将混合雲資料庫管理HDM+ CloudDBA+自治的能力,更新為資料庫自治服務DAS。

DAS 在4個方面取得了核心創新和突破:

首個全局綜合自治引擎:基于根因分析以及執行個體全次元聚合資訊,進行集中決策,沖突解決,專項自治場景決策分發,在多自治場景下實作綜合自治。

首個外置式Cost-based SQL診斷:基于代價的診斷引擎,一套獨立于資料庫之外的優化器,并以自适應的統計資訊收集機制,基于執行計劃的代價評估,實作SQL精确診斷與優化建議輸出。

基于Workload全局SQL優化技術:以Workload負載為優化機關,綜合考慮Workload中影響整體性能的特征,如SQL執行消耗資源占比、讀寫比等,進行整體優化,實作負載整體性能最大化提升同時,最大化降低空間消耗。

基于機器學習的Workload異常發現與預測:基于機器的Workload異常發現,自動感覺引發Workload變化的異常SQL,自動觸發全局優化,變被動式優化為即時主動式全局優化。

和達摩院的相關的研究成果,也取得了國際學術界的認可:

2018年,WWW《Unsupervised Anomaly Detection via Variational Auto-Encoder forSeasonal KPIs in Web Applications》

2019年,VLDB《iBTune: Individualized Buffer Tuning for Large-scale Cloud Databases》

2020年,VLDB《Diagnosing Root Causes of Intermittent Slow Queries in Large-ScaleCloud Databases》

通過DAS,可以幫助企業節省90%的資料庫管理成本,降低80%的運維風險,讓使用者可以更集中在業務創新,讓業務持續行駛在快車道上。

更多DAS産品性能盡在2020年6月9日阿裡雲峰會資料庫新品釋出現場,我們不見不散!

預約觀看:

PS.關注公衆号,背景回複“峰會”即有機會免費獲得阿裡雲資料庫定制太陽傘一把

詳細規則請參見:

2020年6月9号,我們準備幹一件大事