天天看點

openGauss AI能力重磅更新,打造全新的AI-Native資料庫

資料庫與AI結合起來會迸發出什麼樣的火花?不同的資料庫廠商、開源社群、高校師生們的了解也都不盡相同。雖然在精确的概念上難以形成統一的标準,但是在總體的演進思路上卻是一緻的。對于openGauss來說,自從在社群開源第一個版本開始,openGauss便不斷地在該領域演進并貢獻代碼,對于此次開源的openGauss 3.0.0 版本來說也不例外。

在3.0.0版本中,openGauss的AI領域将在多個方向演進:

1. 整合現有AI4DB功能,開源openGauss資料庫自治平台;

2. 重構現有AI4DB能力,實作插件化、支援服務式的運作模式;

3. 支援Prometheus 生态;

4. 新增慢SQL根因分析、時序預測等新特性,優化現有的AI能力;

5. DB4AI功能支援更多算法。

DB4AI原生引擎進一步更新

在openGauss 3.0.0中,DB4AI原生引擎支援更多機器學習算法,例如支援SVM的非線性核函數,支援XGBoost等等。同時,openGauss還提供了Explain接口,可以觀察到模型的資訊。

AI4DB支援服務化、插件化

原有的openGauss AI4DB 能力是離線工具形态,不能在背景對資料庫進行完整的監控,也不能定期地對資料庫進行問題發現。最新版本,openGauss實作了背景監控服務,并在背景定期地檢查資料庫系統的狀态,進而形成了自治資料庫平台DBMind。通過離線計算的形式,将診斷結果儲存,使用者可以通過Grafana等軟體進行可視化,進而第一時間發現問題并獲知問題的根因。

由于需要在背景定期監控openGauss資料庫系統的運作狀态,是以,需要對接監控平台以便采集資料庫監控名額并進行離線計算。故而,在3.0.0版本中,openGauss實作了兩款exporter用于與Prometheus平台進行對接,其架構形态為:

openGauss AI能力重磅更新,打造全新的AI-Native資料庫

其中,openGauss-exporter 用于擷取資料庫系統的監控名額(metric),reprocessing-exporter用于對存儲在Prometheus中的資料進行二次加工。上述兩個exporter的資料,可以通過Prometheus定期采集擷取。DBMind系統定期從Prometheus中擷取時序資料,并在DBMind部署機上進行并行計算。待計算完成後,将計算結果存儲在中繼資料庫(meta-database)中。之後,使用者可以從中繼資料庫中擷取診斷結果,更進一步地,可以通過配置Grafana等進行可視化。

openGauss AI能力重磅更新,打造全新的AI-Native資料庫

如上圖所示,是一種基于中繼資料庫中的資料,采用Grafana進行可視化的示例。

與此同時,openGauss還全面整合了現有的AI能力,并重新設計了一種插件化的模式。例如,使用者希望調用參數調優功能,基于強化學習來調試資料庫的參數,可以通過下述指令來實作:

gs_dbmind component xtuner tune …      

通過上述gs_dbmind 指令,可以調用所有的AI功能,通過component 子指令,可以調用具體的AI功能。使用者可以通過下述指令來檢視幫助詳情:

gs_dbmind component --help      

通過上述設計,openGauss社群開發者如果希望貢獻某種資料庫AI功能,則隻需要保證接口能被gs_dbmind擷取到即可。同時,開發的插件還可以調用DBMind提供的全部API,例如從Prometheus 中擷取資料的dai (data access interface)接口,向中繼資料庫(meta database)中插入資料的 dao (database access object)接口等。

AI4DB 現有AI能力全面提升

在此次釋出的3.0.0版本中,openGauss 對現有的索引推薦、時序預測等功能也進行了全面更新。補充了以往版本中的疏漏場景。同時,提供慢SQL根因分析與推薦功能,幫助DBA迅速識别出慢SQL,并依據監控到的資料庫運作名額,通過AI特征庫識别算法創新地給出慢SQL産生的原因和置信度,同時還給出優化建議。

為下一步開發全面的資料庫AI自治平台打下基礎

如上文所述,在openGauss 3.0.0版本中,創新性地完成了對曆史AI能力的整合,丢棄曆史研發過程中遺留下的包袱,輕裝上陣,創新性地實作了可服務化、可離線式、插件式、自由組裝的DBMind平台,并跟随資料庫安裝包一同釋出。對于診斷後的結果,使用者可以自行采用Grafana等工具進行自定義地可視化(當然,我們也會提供Grafana示例)。

這為我們未來更進一步地将DBMind平台更新打下基礎,預計本年度openGauss會将更多AI功能豐富到該平台中,同時将該平台從現有代碼倉庫中獨立出來,并提供原生的Web前後端展示平台,同時支援自修複功能,讓使用者真正體會到一鍵式、開箱即用的資料庫自動駕駛。

歡迎通路openGauss官方網站

openGauss AI能力重磅更新,打造全新的AI-Native資料庫

openGauss開源社群官方網站:

https://opengauss.org

openGauss組織倉庫:

https://gitee.com/opengauss

openGauss鏡像倉庫:

https://github.com/opengauss-mirror