天天看點

【雲栖号案例 | 網際網路】小打卡:快速部署大資料計算平台實踐

雲栖号案例庫: 【點選檢視更多上雲案例】 不知道怎麼上雲?看雲栖号案例庫,了解不同行業不同發展階段的上雲方案,助力你上雲決策!

案例背景

小打卡緻力于幫助使用者成為更好的自己。目前,已為3000萬使用者提供體驗服務3.4億人次,内容消費7.4億人次。

在小打卡上線初期,業務分析所需的資料主要是通過查詢mysql庫表。

現在,小打卡的主要業務分析需求,包括業務報表,使用者行為分析,A/B/n實驗評估,個性化推薦,資料服務等全部是借助于阿裡雲的大資料平台來滿足。

選擇阿裡雲大資料産品的原因:

1.成本低

享用阿裡雲超大規模的雲計算資源,按照實際需要采購存儲和計算資源。

企業無需組建專門的大資料平台部署和運維團隊,在業務發展初期,極大的降低了擁有大資料平台的各項成本。

2.效率高

企業通過阿裡雲官網了解并采購所需的大資料産品,快速搭建适合業務的平台架構

阿裡雲大資料提供開發生産環境隔離的內建開發環境,以及完善的排程/監控/資料管理等工具能力,提高資料倉庫的開發效率

企業可以快速建構大資料平台的功能子產品,快速相應業務需求

3.性能按需采購

阿裡雲大資料的I/O及計算能力彈性伸縮,可以支援TB/PB/EB級資料規模,千萬級别複雜任務排程和萬兆的網絡同步速率。

4.安全

阿裡雲大資料提供雲上資料的安全,以及企業租戶之間的安全隔離,大資料項目不同角色的權限管理和各種資料資源的權限管理。

大資料實踐

小打卡基于阿裡雲大資料産品實作的離線數倉架構:

【雲栖号案例 | 網際網路】小打卡:快速部署大資料計算平台實踐

面向小打卡的各項業務場景,所需的基本産品搭配:

1.使用者行為分析 :DataWorks + 資料內建 + MaxCompute + Quick BI

2.資料化營運:DataWorks + 資料內建 + MaxCompute + RDS

3.線上資料服務:DataWorks + 資料內建 + MaxCompute + OTS/API網關

4.推薦系統:DataWorks + 資料內建 + MaxCompute + PAI + OSS

  • 實踐case:

1.業務分析需求:監控每小時通路小打卡小程式的新增使用者數及活躍使用者數

2.阿裡雲大資料産品搭配:DataWorks + 資料內建 + MaxCompute + Quick BI

- DataWorks:DataWorks(資料工場,原大資料開發套件)是阿裡雲數加重要的PaaS平台産品,提供資料內建、資料開發、資料管理、資料治理、資料分享等全方位的産品服務,一站式開發管理的界面,幫助企業專注于資料價值的挖掘和探索。

- MaxCompute:大資料計算服務(MaxCompute,原名ODPS)是一種快速、完全托管的EB級資料倉庫解決方案。

資料內建:資料內建是阿裡集團對外提供的穩定高效、彈性伸縮的資料同步平台。緻力于提供複雜網絡環境下、豐富的異構資料源之間資料高速穩定的資料移動及同步能力。

  • Quick BI:uick BI是阿裡雲旗下産品,是一個基于雲計算緻力于大資料高效分析與展現的輕量級自助BI工具服務平台。

3.用2-3個工作日,快速搭建大資料平台:

步驟一:注冊阿裡雲賬号,開通DataWorks及Quick BI

步驟二:快速建設數倉

1)在DataWork控制台建立工作空間

小打卡将原始資料的采集層和中間公共資料的加工層分别部署在獨立的項目中。

【雲栖号案例 | 網際網路】小打卡:快速部署大資料計算平台實踐
【雲栖号案例 | 網際網路】小打卡:快速部署大資料計算平台實踐

2)DataWorks平台中內建了資料內建和MaxCompute等大資料産品,可以一站式的開發。

【雲栖号案例 | 網際網路】小打卡:快速部署大資料計算平台實踐

在DataStudio(大資料內建開發環境工具)中建設資料倉庫,建立業務流程,實體模型,資料內建任務及ETL任務。

業務流程幫助企業總結業務的一般流程,來有效組織互相依賴的資料流,資料內建任務,ETL任務,資料表和UDF等其他資源。

【雲栖号案例 | 網際網路】小打卡:快速部署大資料計算平台實踐

資料內建可以幫助企業從異構資料源采集資料并沉澱到資料倉庫

阿裡雲的資料內建提供豐富的資料源支援:

  • 文本存儲(FTP/SFTP/OSS/多媒體檔案等)
  • 資料庫(RDS/DRDS/MySQL/PostgreSQL等)
  • NoSQL(Memcache/Redis/MongoDB/HBase等)
  • 大資料(MaxCompute/AnalyticDB/HDFS等)
  • MPP資料庫(HybridDB for MySQL等)
【雲栖号案例 | 網際網路】小打卡:快速部署大資料計算平台實踐

繼續在DataStudio中開發實體模型和ETL任務。

【雲栖号案例 | 網際網路】小打卡:快速部署大資料計算平台實踐
【雲栖号案例 | 網際網路】小打卡:快速部署大資料計算平台實踐

釋出任務流程,并在運維中心中排程和監控

【雲栖号案例 | 網際網路】小打卡:快速部署大資料計算平台實踐

3)将資料接入Quick BI,傳遞業務部門使用。

目前由于小打卡分析業務的團隊規模較小,僅有10-20人的規模,是以目前的架構是直接讀取MaxCompute中的資料。這樣做的好處是省錢,非常省錢,部署也是非常的快速。

但是缺點則是查詢速度較慢,隻能維持在秒級,且報表的查詢并法度有瓶頸。後續随着分析團隊規模的增加,會适時的優化架構,引入分析型資料庫産品ADB來提供毫秒級的速度和高并發的查詢性能。

【雲栖号案例 | 網際網路】小打卡:快速部署大資料計算平台實踐