2017雲栖大會·杭州峰會：《線上使用者行為分析：基于流式計算的資料處理及應用》之《流資料處理：通過StreamSQL分析視訊日志》篇

本手冊為雲栖大會·杭州峰會Workshop之《線上使用者行為分析：基于流式計算的資料處理及應用》場的《流資料處理：通過StreamSQL分析視訊日志》篇所需。主要幫助現場學員熟悉并掌握阿裡雲流計算StreamCompute的操作和使用。

<a href="https://data.aliyun.com/product/sc" target="_blank">阿裡雲流計算StreamCompute</a>

確定已經從雲中沙箱中擷取了實驗所需的阿裡雲賬号和密碼。

step2：在雲資源通路授權頁面，點選同意授權。

該業務場景是以Log來采集的實時視訊日志流，下面需要用StreamCompute來分析處理視訊流日志。

step1：點選頂部菜單欄中的開發，進入開發頁面。

step2：右鍵選擇建立檔案夾，在彈出框中填寫檔案夾名稱為workshop_log（可根據需求命名），點選建立。

step3：在建立的workshop_log檔案夾上右鍵選擇建立作業，在建立作業彈出框中命名作業名稱為workshop（可根據需求命名），點選建立。

step4：根據需求修改代碼備注資訊，進入編寫StreamSQL開始編寫SQL。

step5：引用資料來源于前面章節已經配置成功的Log資訊。

SQL邏輯如下：

經過StreamCompute分析處理的資料最終寫入RDS存儲中。

建立結果表，其将結果輸出到RDS表中。

出品方為大家準備了RDS，每個學員的資料庫名稱均為workshop_[abc]，其中[abc]為您的雲賬号後三位數字，比如雲賬号為[email protected]，那麼您需要替換為workshop_620.

進入核心邏輯編寫階段，計算名額為統計目前線上人數。

編寫目前線上人數的StreamSQL計算邏輯。

step1：點選右側的資源配置tab頁，展開具體資訊。

step2：點選藍色擷取自動生成JSON配置，等待數秒後生成完畢。

直到生成完畢，如下圖所示：

step3：點選儲存按鈕儲存目前配置資訊，即後點選送出将代碼送出至Blink引擎。

通過上述步驟将已經建立好的StreamSQL作業送出至生産叢集上，但還需要在運維中進行啟動作業，方可執行流式作業。

step1：點選頂部菜單欄中的運維進入運維中心。

step2：找到自己的流式作業workshop，點選操作欄中的啟動。

step3：在啟動作業對話框中，點選按以上配置啟動。

通過上述步驟作業處于啟動中，直至狀态顯示運作，表示作業上線并啟動成功。

step4：點選任務操作欄中的檢視詳情進入運維大屏檢視任務概況。

step5：在作業儀表盤中開啟實時重新整理，并關注資料輸入和資料輸出，如下圖顯示正常表示流式任務處理正常。

開啟實時重新整理後，底下的監控圖會由于作業送出叢集執行過程有所1分鐘左右延遲刷出。

流式作業跑起來，還需要确認是否資料已經寫入目标端。

step1：首先在作業儀表盤中确認資料輸入和資料輸出是否正常。

step2：從作業儀表盤中确認資料輸入和輸出都正常，也可在血緣關系圖中進行資料抽樣。

step3：切換至血緣關系圖找到目的端RDS，右鍵并選擇抽樣資料。

資料抽樣結果如下：

資料抽樣結果如上圖所示，至此我們針對實時線上人數的名額已經完成。其他相關名額大家可以專心聽講師分析和講解，後續也會提供源碼。