天天看點

數加分析型資料庫:讓你的資料探索更靈活、準确、快速響應和高并發

在大資料時代,大家越來越注重資料探索的靈活性、準确性、快速響應和高并發。為此,阿裡雲數加團隊在結合多年應用經驗的基礎上,推出了分析型資料庫。

<b>什麼是分析型資料庫?</b>

分析型資料庫(analytic db,原名ads),是阿裡巴巴自主研發的海量資料實時高并發線上分析(realtime olap)雲計算服務,能讓使用者可以在毫秒級針對千億級資料進行即時的多元分析透視和業務探索。分析型資料庫對海量資料的自由計算和極速響應能力,能讓使用者在瞬息之間進行靈活的資料探索,快速發現資料價值,并可直接嵌入業務系統為終端客戶提供分析服務。

<b></b>

<b>推出分析型資料庫,是希望帶來什麼?</b>

四個“more”總結一下:

首先,數加團隊希望資料能夠more accessable——希望海量資料不僅僅用于給少數人的決策報告,而是讓更多的業務人員能夠使用到資料,甚至将資料開放成線上資料産品或者大資料saas服務,提供給廣闊的使用者群體。

其次是more data:網際網路和物聯網的高速發展,帶來了海量的使用者和行為資料,同時也讓資料的價值密度大幅變低,如果再使用抽樣的方式,則更不容易探索到有價值的insight。需要在數百gb、tb甚至pb級别的海量資料中直接進行分析、探索、挖掘,才能獲得資料的價值。

再次是more ways:大資料應用已經開始擺脫傳統的特定模型的bi報表,變成以資料自由洞察、靈活洞察為形态的資料産品,例如支援數十上百中使用者屬性和行為自由組合和探查的crm、擁有上千個标簽的m-dmp系統、支援多種次元篩選通路的通路日志分析系統、支援任意商品屬性組合篩選的交易報表等等。

最後是more realtime:大資料時代瞬息萬變,是以很多客戶希望分析到數分鐘前産生的準實時資料,尤其是在物聯網行業,海量的傳感器每分每秒都在上傳自己的資訊;而資料探索越來越靈活帶來了快速進行互動式(無固定sql pattern)的線上實時計算需求。

<b>分析型資料庫與傳統olap引擎相比,有什麼優勢呢?</b>

自由靈活的計算:無需預先模組化,利用分布式計算技術,在保證自由探索的基礎上高速得到計算結果,資料模型類似關系資料庫的關系表

高并發、高可用:通過雙副本線上雙活技術極大的提高了查詢可用性,并且可以通過擴容實作查詢、寫入并發性能水準擴充,最高可達數千qps的并發

快速響應:通過分布式計算技術,在海量資料上能夠支撐毫秒級到數秒的計算響應時間

支援資料實時入庫:支援通過insert/delete進行資料準實時更新入庫,資料更新到可查詢延遲一般不超過2分鐘,通過購買更多資源可以水準擴充至數十萬條/秒的資料插入速率,并且支援通過阿裡雲資料傳輸實時訂閱rds的資料變更到分析型資料庫中

良好的協定相容性:對mysql連接配接協定有良好的相容性,使用mysql在各個語言的driver便可連接配接和使用,也部分相容第三方bi工具和etl工具如kettle、qlikview、powerquery for excel等可以使用mysql協定連接配接到分析型資料庫

高成本效益:在100gb-1tb資料量、一天5萬次查詢(典型的資料探索應用查詢模式)的場景,分析型資料庫的高性能執行個體比自建hbase+phoneix或elasticsearch叢集的成本最高降低60%以上,并且擁有更好的查詢性能和穩定性;在5tb以上、一天500次查詢(内部分析系統)的場景下,即将推出的大容量執行個體也比自建impala/presto等叢集的成本低30%以上 

<b>那麼,什麼場景中适合應用分析型資料庫呢?</b>

海量資料下crm、dmp業務

報表型大資料産品

ad-hoc類大資料産品

需要頻繁互動和分析的内部bi系統

将海量資料直接對接應用于業務系統的應用

替換傳統企業内部olap引擎

實際上,目前已經有很多客戶信任并使用阿裡雲的分析型資料庫,比如美柚、網聚寶、天弘基金、優酷洋芋、阿裡健康、阿裡媽媽等。

<b>相關連接配接:</b>