天天看點

阿裡雲MVP Meetup 《雲資料·大計算:海量日志資料分析與應用》之《資料應用:資料服務》篇

實驗背景介紹

在進行本實驗前,請先完成實驗《

資料采集:日志資料上傳 》、《 資料加工:使用者畫像 資料治理:資料品質監控 》。上述三個實驗使用了DataWorks的三個子產品,分别是資料內建子產品(快速将資料上雲),資料開發子產品(完成資料的清洗和周期排程)和資料品質子產品(配置資料的校驗規則,保證資料産出品質)。本文将給大家講述如何使用DataWorks的資料服務子產品,快速完成資料共享,将整個資料研發流程達到閉環。

資料服務介紹

DataWorks資料服務旨在為企業搭建統一的資料服務總線,幫助企業統一管理對内對外的API服務。資料服務為您提供快速将資料表生成資料API的能力,同時支援您将現有的API快速注冊到資料服務平台以統一管理和釋出。

資料服務已與API網關(API Gateway)打通,支援将API服務一鍵釋出至API網關。資料服務與API網關為您提供了安全穩定、低成本、易上手的資料開放共享服務。

資料服務采用Serverless架構,您隻需關注API本身的查詢邏輯,無需關心運作環境等基礎設施,資料服務會為您準備好計算資源,并支援彈性擴充,零運維成本。

資料服務配置

在前三個課程中,我們已經産出了一系列的表,其中可以直接被報表系統使用的表有 rpt_user_info_d,可以被應用使用的明細表有 dw_user_info_all_d。本文我們會通過使用資料服務,快速的将這兩個表生成API。

注冊資料源

由于MaxCompute的特性是離線、批量大資料計算,是以直接連MaxCompute生成的資料服務API是無法快速響應的,那麼MaxCompute計算引擎為了提升查詢效率,推出了lightning加速引擎。那在資料服務中如何使用 lightning引擎呢?

在資料內建界面,新增資料,選擇lightning 。

阿裡雲MVP Meetup 《雲資料·大計算:海量日志資料分析與應用》之《資料應用:資料服務》篇

填寫lightning引擎内容:

資料源名稱: (建議為)目前項目名

資料源描述:日志資料表

Lightning Endpoint:lightning.cn-shanghai.maxcompute.aliyun-inc.com

Port:443

MaxCompute項目名稱:目前項目名

AccessKey ID:通路者的AK資訊

AccessKey Secret:通路者的AK資訊

JDBC擴充參數:無需修改

以上資訊,填寫完成以後,點選測試連通性,測試連通性成功後,點選完成即可。

建立資料服務API

滑鼠hover在右上角DataWorks的圖示上,跳轉至資料服務子產品。

注:由于資料服務是結合API網關使用的,如果沒有開通API網關的話,需要先開通API網關,具體開通流程本文不做詳細概述。

滑鼠選中API清單,右鍵選擇建立分組。

阿裡雲MVP Meetup 《雲資料·大計算:海量日志資料分析與應用》之《資料應用:資料服務》篇

輸入分組名稱。

阿裡雲MVP Meetup 《雲資料·大計算:海量日志資料分析與應用》之《資料應用:資料服務》篇

建立完成分組後,滑鼠右鍵單擊分組名稱,選擇生成API,選擇向導模式。

阿裡雲MVP Meetup 《雲資料·大計算:海量日志資料分析與應用》之《資料應用:資料服務》篇

我們這裡把 rpt_user_info_d 的資料快速生成api,故API的名稱為 rpt_user_info_d ,路徑與名稱同名。

阿裡雲MVP Meetup 《雲資料·大計算:海量日志資料分析與應用》之《資料應用:資料服務》篇

點選确認後,進入API的編輯界面,我們隻需要簡單的選擇資料源類型、資料源名稱、資料表名稱即可,勾選上入參和出參,儲存API。

注:這裡建議大家勾選uid和分區字段dt為入參,出參可全選。
阿裡雲MVP Meetup 《雲資料·大計算:海量日志資料分析與應用》之《資料應用:資料服務》篇

儲存API完成後,點選右上角的測試,會彈出入參的填寫框,入參中uid可以填寫:0016359810821 ,dt可以填寫昨天的日期。

阿裡雲MVP Meetup 《雲資料·大計算:海量日志資料分析與應用》之《資料應用:資料服務》篇

測試通過後,可傳回API編輯面闆,點選右上角的釋出,釋出後的API就可以被正常通路了。可按照上述方法,将 dw_user_info_all_d 表也生成資料服務API。

API調用

生成的API如何調用呢?

首先你需要将API釋出,在釋出之前要先開通

API網關

這個釋出操作就會将資料服務生成的API釋出到API網關。

在資料服務右上角,可以選擇服務管理。在服務管理中,可以對已釋出的API進行檢視和授權操作。切換至服務管理後,可以在左側的API調用子產品下,看到API的調用資訊。

阿裡雲MVP Meetup 《雲資料·大計算:海量日志資料分析與應用》之《資料應用:資料服務》篇

然後通過API網關的SDK調用,詳見

這裡

關于資料服務API的更多用法,可以參考文檔:《

海量大資料大屏分析展示一步到位:DataWorks資料服務+MaxCompute Lightning對接DataV最佳實踐

繼續閱讀