分析型資料庫 AnalyticDB學習 ----基本介紹
AnalyticDB簡介
阿裡巴巴自主研發的海量資料實時并發線上分析的雲計算服務,可以在毫秒級針對千億級資料進行多元分析和業務探索.具備海量資料的自由計算和極速響應能力(資料很多,反應很快,計算很快,可以處理高并發這個意思)
Analytic核心功能和特點
*Analytic核心功能
(1) 分檔的儲存
(2) 自由的查詢
(3) 智能的優化
(4) 分層的安全
(5) 友善的接口
(6) 彈性的多租戶
*Analytic特色功能
(1) 智能全索引
(2) 多值列
(3) 空間檢索
(4) 海量dump
(5) 全文檢索(ai分詞,全文索引)
(6) 海量計算(圖檔處理)
*Analytic關鍵技術
(1) 列存
1. 優點: 分析統計性能、大寬表查詢少量列時省IO
2. 劣勢:資料分布分散時一次查詢很多列浪費IO
3. 特色:聚集列(預排序)緩解劣勢
(2) 分級存儲
1. 高性能執行個體:查詢性能快,并發能力強,存儲成本高,适用于大量資料靈活分析,高并發查詢等場景。
2. 大存儲執行個體:存儲成本很低,查詢性能相對差,并發弱,适用于海量資料的查詢明細,低并發較高延遲分析等場景
Analytic優點
(1) 超大規模叢集
1. 支援2000+節點叢集
2. 單表1pb資料量
3. 單表億萬記錄的多表關聯分析
(2) 高性能
1. 寫入資料1秒内立即可查詢分析,200萬+/秒
2. 支援3萬+的并發查詢能力
3. 無需預先進行模組化的情況下實作千億資料秒級計算
4. 支援行列混存功能,支援表級别配置存儲模式,優化查詢性能
(3) 高可用、可靠
1.叢集節點 active-active架構,任意實體機損壞,業務無感覺運作,自動恢複
2. 無狀态化設計,存儲和計算分離
3. 資料雙層備援設計,資料可靠性99.9999%
(4) 功能
1. 文本分析。ali分詞
2. gpu硬體加速:更高性能和更低成本
3. 向量分析:支援向量計算
Analytic使用場景
(1) app類型:查詢簡單,沒有多表關聯操作并且計算傳回結果資料不多qps(機關時間内處理的流量,最大吞吐能力)較高,rt(響應時間)在500毫秒以下
(2) BI類型:實時資料倉庫,一張事實表與多元度表進行join,較多的分組,排序操作qps較低,rt1000毫秒以下
(3) Adhoc類型:多張事實表進行join并進行分組,排序,或者傳回大量結果,qps等于或者高于bi類型,平均在8000毫秒