天天看點

分析資料庫服務(ADS)極速驅動大資料商業變革

根據idc 2013年釋出的數字宇宙研究報告(digital universe)顯示,在接下來的8年中,我們所産生的資料量将超過40 zb(澤位元組)!作為大資料特征中最重要的volume(容量)、velocity(資料生産速度)的兩個原始特征都在發生急劇變化,使得資料處理從業務系統的一部分演變得愈發獨立,企業需要加速資料分析和挖掘過程,并由報表展現為主到強調資料洞察轉型,讓資料直接快速産生價值(value)。

在業務系統中,我們通常使用的是 oltp(online transaction processing ,聯機事務處理)系統來處理資料,如 mysql、microsoft sql server、oracle等關系資料庫,這些資料庫對應到我們雲上的産品,便是rds等關系資料庫服務。這些關系資料庫系統擅長事務處理,在資料操作中嚴格遵循acid原則,能夠很好的支援高并發的資料插入和修改;但是一旦需要進行統計分析類計算并且記錄數超過千萬甚至十億級别,或需要進行非常複雜的計算過濾時,oltp類資料庫系統便力不從心了。

另一類計算系統,則更适合海量資料以固定的模式進行分析和處理,例如開源的hive(hadoop底層)、spark sql(spark

底層)離線計算系統,以及阿裡雲上的odps開放資料處理服務等,可以計算萬億條,數百tb甚至更多的資料,但是一般很難應對需要高并發(例如100qps以上)或者實時響應(計算響應時間在3s以下)的業務場景。

而分析資料庫服務ads,是一套rt-olap(realtime olap,實時 olap)系統。在資料存儲模型上,采用自由靈活的關系模型存儲,可以使用 sql進行自由靈活的計算分析,無需預先模組化;而利用分布式計算技術,ads可以在處理百億條甚至更多量級的資料上達到甚至超越molap類系統的處理性能,真正實作百億資料毫秒級計算。

ads讓海量資料和實時與自由的計算可以兼得,實作了速度驅動的大資料商業變革。一方面,ads擁有快速處理百億級别的大資料的能力,使得資料分析中使用的資料可以不再是抽樣的,而是業務系統中産生的全量資料,使得資料分析的結果具有最大的代表性。而更重要的是,ads采用分布式計算技術,擁有強大的實時計算能力,通常可以在數百毫秒内完成十億百億的資料計算,使得使用者可以根據自己的需求在海量資料中自由的進行探索,而不是根據預先設定好的固定邏輯檢視已有的資料報表。

同時,由于 ads 能夠支撐較高并發查詢,并且通過動态的多副本資料存儲容錯機制以及長尾容忍技術來保證較高的系統可用性和延時穩定性,是以能夠直接作為面向最終使用者(end user)的産品(包括網際網路産品和企業内部的分析産品)的後端系統。如淘寶資料魔方、淘寶指數、快的打車、阿裡媽媽達摩盤(dmp)、淘寶美食頻道等擁有數十萬至上千萬最終使用者的網際網路業務系統中, 都使用了 ads。

ads作為海量資料下的實時計算系統,給使用者帶來極速自由的大資料olap分析體驗以及極好的相容性,期待和各位一起加速資料業務轉型。

目前ads已在阿裡雲上正式開始公測,我們歡迎有各類相關需求的使用者使用ads并向我們提出寶貴的建議。

ads公測位址: https://i.aliyun.com/inviteapply?spm=0.0.0.0.42ohfx&agent_id=95