天天看點

SLS【資料加工】調試手冊簡介快速預覽進階預覽後記

簡介

SLS 資料加工提供了預覽功能,以便使用者可以在釋出運作之前,對 DSL 腳本進行調試,保證 DSL 的正确性和完整性。資料加工提供了2種預覽方式,快速預覽和進階預覽。

  • 快速預覽可免費、快速檢驗資料加工腳本文法正确性,驗證加工規則的輸出結果是否符合預期,并且支援自定義測試資料或者從Logstore中選取特定日志進行測試。快速預覽不能真正連接配接到資源函數(res_local、res_rds_mysql、res_log_logstore_pull、res_oss_file)所指定的資源,如果在加工過程中涉及到函數資源,您可以在維表頁簽中輸入測試資料進行預覽。
  • 進階預覽會産生一定的流量,計入資料加工費用。建議您通過快速預覽确認輸出結果符合預期後,使用進階預覽完整測試資源函數的配置準确性。

下表是這兩種預覽方式的對比:

預覽方式 計費 預覽速度 自定義輸入資料 完整加工流程
快速預覽 免費 極快 支援 否(不會連接配接資源函數指定的資源)
進階預覽 按流量 一般 不支援

  1. 在右上角選擇“快速”選項。
  2. 加工腳本編輯器左下方,在“原始日志”标簽頁中,我們可以看到目前logstore記憶體儲的原始資料。
  3. 對于每一條原始資料,我們都可以選擇将其“加入預覽資料”。
    SLS【資料加工】調試手冊簡介快速預覽進階預覽後記
  4. 選擇好原始資料以後,選擇“測試資料”标簽頁,這裡面包含了“資料”和“維表”兩個子标簽頁。
  5. 選擇“資料”子标簽頁,這裡可以看到,已經從原始資料中選擇的資料條目。我們特可以輸入自定義資料
    SLS【資料加工】調試手冊簡介快速預覽進階預覽後記
說明:

單次預覽的測試資料大小不超過1 MB。

多條測試資料之間用空行分隔。

跨行字段值使用Markdown編輯格式,通過

`

,識别整個字段。

在資料頁簽中配置的測試資料可以為KV格式或者JSON格式,其中KV格式資料使用冒号(:)連接配接字段名和字段值。

樣例:包含2條測試數目,第1條是KV格式(包含1個跨行字段traceback),第2條是JSON格式。

time_local: 25/May/2020:01:56:22
user agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.18 (KHTML, like Gecko) Chrome/11.0.661.0 Safari/534.18
"request:method": GET

{
  "time_local": "25/May/2020:01:56:22",
  "user agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.18 (KHTML, like Gecko) Chrome/11.0.661.0 Safari/534.18",
  "request:method": "GET",
  "remote user": "john"
}           
  1. 選擇“維表”子标簽頁,如果加工腳本裡面包含了資源函數,我們可以在這裡指定每個資源函數對應的資源内容。
說明 在維表頁簽中配置的測試資料,如果是res_rds_mysql、res_log_logstore_pull資源函數對應的資料樣例必須為CSV格式,如果是res_oss_file、res_local資源函數對應的資料樣例可以為CSV格式,也可以為JSON格式。

樣例:包含2條測試資料,第1條是CSV格式,第2條是JSON格式。

ip,country,province
127.0.0.1,China,Shanhai
192.168.0.0,China,Zhejiang

[
  {
    "ip": "127.0.0.1",
    "country": "China",
    "province": "Shanhai"
  },
  {
    "ip": "192.168.0.0",
    "country": "China",
    "province": "Zhejiang"
  }
]           
  1. 點選右上角“預覽資料”按鈕,開始預覽任務。
  2. 在“加工結果”标簽頁中,我們可以看到經過加工腳本處理以後的資料條目,和本次預覽的統計資訊。

  1. 在右上角選擇“進階”選項。

因為進階預覽會執行完整的資料加工流程,是以需要授權 SLS 讀取源 logstore 記憶體儲的資料作為教工的原始資料。授權配置參考

官方文檔

後記

以上就是使用 SLS【資料加工】功能時,需要為資料加工授權的詳細步驟。如果您在使用 SLS 過程中有任何問題,請加入我們釘釘服務群,也歡迎關注 SLS 的微信技術公衆号和B站視訊号。