
作者:唐恺
資料加工診斷儀表盤
日志服務加工功能的運作狀态可以通過該儀表盤進行檢視,入口是加工清單頁的“規則洞察”按鈕:
點選改按鈕跳轉到儀表盤後,可以分别按照作業名稱、執行個體ID、源LogStore篩選其它任務狀态。例如下圖是預設檢視目前執行個體ID(90c9d47714dbb807d47c13b819d3e7df)的作業:
注:預覽任務的狀态資料不計入本報表。
總覽名額
- 讀日志數總計:從源LogStore各shard讀取到的日志條數總計
- 投遞日志數總計:從源LogStore各shard讀取到日志并成功投遞到目标LogStore的日志條數總計
- 失敗日志數總計:從源LogStore各shard讀取到日志并在加工過程中發生失敗的日志條數總計
- 投遞日志數占比:成功投遞到目标LogStore的日志條數占源LogStore讀取到日志條數的比例
加工速率名額
統計每分鐘視窗内,資料加工處理的日志條數,包括四條名額:
- accept:從源LogStore讀到的日志條數
- dropped:從源LogStore讀到并按代碼預期丢棄的日志條數
- delivered:從源LogStore讀到并成功投遞目标LogStore的日志條數
- failed:從源LogStore各shard讀取到日志并在加工過程中發生失敗的日志條數
消費延遲與速率名額
統計每分鐘視窗内,加工任務讀取源LogStore時每個Shard名額:
- 消費延遲:目前時間 - 該Shard最近的已完成日志時間(日志寫入日志服務時間,也級Server Arrived Time)
- 消費速率:Shard在該分鐘視窗内每秒鐘讀取到的日志條數
注:處理實時(最新)日志時消費延遲一般是1s左右;如果處理的是曆史時間範圍的日志資料,在任務開始的階段消費延遲可能會很高,并随這資料加工的進行,消費進度不斷追趕最終達到低延遲水準。
活躍Shard名額
展示最近一段時間内發生的,Shard級别每秒處理的日志行數(accept、dropped、delivered、failed)。
異常詳情
您可以根據reason字段,檢視可能導緻出錯的代碼問題。你還可以深入到目前Project下的internal-etl-log LogStore(免費提供使用):
通過關鍵詞ERROR或者WARNING檢視完整的代碼執行錯誤日志。
如果問題仍無法解決,可以提供該部分資訊聯系日志服務進行支援。
進一步參考
歡迎掃碼加入官方釘釘群獲得實時更新與阿裡雲工程師的及時直接的支援: