天天看點

阿裡雲ApsaraDB RDS使用者 - OLAP最佳實踐

随着大資料分析型産品越來越豐富、細化,使用者可能會看得眼花缭亂,如果對産品沒有深度的了解,選錯了豈不是勞民傷财?

本文将給大家分析一下rds使用者應該如何選擇适合自己的大資料的分析産品,以及最佳實踐方案。

以最常用的服務舉例,通常雲使用者會購買的産品如下

ecs,虛拟機

rds,雲資料庫,包括(mysql, sql server, postgresql, ppas, mongodb, redis, memcache, petadata)等。

oss,對象存儲(廉價的資料存儲服務,也是阿裡雲各産品之間資料交換的橋梁)

greenplum

分布式并行計算資料倉庫,生态非常成熟,在 營運商、金融、物流、公安、政府、網際網路 等行業都有非常龐大的使用者群體。

提供全面的sql支援(包括符合sql2008标準的olap分析函數),業界流行的bi軟體都可以直接使用greenplum進行線上業務分析。

支援行存儲和列存儲混合模式,提高分析性能;同時提供資料壓縮技術,降低存儲成本。支援xml、gis地理資訊、模糊字元串等豐富的資料類型。

支援 madlib 機器學習庫,為 物聯網、網際網路、金融、政企 等行業提供豐富的業務分析能力。

使用者如果自建hadoop,無法适應處在飛速發展期的企業資料分析需求,因為一個分析可能需要經過 分析師、etl、營運、開發人員 多種角色,還需要部署任務,流程很長 。哪怕是小小的分析也需要耗費很長的鍊路和時間。

阿裡雲ApsaraDB RDS使用者 - OLAP最佳實踐
阿裡雲ApsaraDB RDS使用者 - OLAP最佳實踐

如果你的企業處在飛速的發展期,分析模型和需求變化會很快,greenplum 為分析人員提供了快速的試錯便利。

從 百tb到pb 的olap倉庫,greenplum無疑是非常好的選擇。

對于飛速發展的企業來說,視窗期很重要,選擇一個正确的資料分析産品,可以幫助使用者快速試錯,大大提高效率。

阿裡雲的使用者應該如何利用好greenplum呢?

還是老樣子,一張圖讀懂如何用好greenplum

不管你是mysql, sql server, postgresql, ppas 還是mongodb,資料流都是一緻統一的,大大降低了使用者的使用成本。

阿裡雲ApsaraDB RDS使用者 - OLAP最佳實踐

使用者分析資料來源可能是rds、檔案。

greenplum作為分析資料庫,使用者可以将greenplum作為純計算引擎使用,也可以作為計算和存儲引擎。

因為greenplum是通用的sql接口,是以資料模組化試錯非常靈活,資料分析師申請好資料庫賬号就可以大刀闊斧的模組化試錯了。

同時greenplum還支援plpython、plperl、plpgsql、plr各種服務端程式設計語言,使用者可以自行選擇開發服務端的udf。

除此之外,使用者如果習慣使用r語言進行分析的話,也可以使用r直接連接配接greenplum,滿足隐式并行的分析需求。

阿裡雲ApsaraDB RDS使用者 - OLAP最佳實踐

greenplum通過外部表的方式通路需要分析的資料,是以資料不需要導入greenplum。

(ps: 計算時,自動将oss資料載入greenplum。)

建議使用者将需要分析的資料導入到oss(例如每天将前一天的資料導出到oss),greenplum可以并行的通路oss中的資料,以充分利用帶寬提高資料提取的速度。

适合使用者有固定模組化的場景,并且運算時間在使用者接受的範圍内,可以給使用者節約不少成本。

資料導入到greenplum資料庫,因為少了資料提取的過程,是以分析時更快。

資料導入到greenplum也建議走oss通道,充分利用帶寬,加快導入速度。

同時為使用者提供三種不同成本效益的方案

所有的資料都不落地,全部存儲在oss,greenplum隻存儲分析結果。

常用的資料放在greenplum(例如最近半年),曆史資料放在oss。

用resource group隔離etl、固定的分析任務、實時試錯分析。

推薦使用大衆方案

阿裡雲ApsaraDB RDS使用者 - OLAP最佳實踐

所有的資料都放在greenplum本地,将固定模型和試錯環境的greenplum分為兩套環境。

<a href="https://yq.aliyun.com/articles/31632">https://yq.aliyun.com/articles/31632</a>

《greenplum資源隔離指南》

<a href="https://yq.aliyun.com/articles/57763">https://yq.aliyun.com/articles/57763</a>

《三張圖讀懂greenplum在企業的正确使用姿勢》

<a href="https://yq.aliyun.com/articles/57736">https://yq.aliyun.com/articles/57736</a>

《greenplum 公測申請頁面》

<a href="https://www.aliyun.com/product/gpdb?spm=5176.7960203.237031.39.3xwera">https://www.aliyun.com/product/gpdb?spm=5176.7960203.237031.39.3xwera</a>

祝大家玩得開心,歡迎随時來阿裡雲促膝長談業務需求 ,恭候光臨。

阿裡雲的小夥伴們加油,努力做 最貼地氣的雲資料庫 。