簡介
SLS 資料加工提供了預覽功能,以便使用者可以在釋出運作之前,對 DSL 腳本進行調試,保證 DSL 的正确性和完整性。資料加工提供了2種預覽方式,快速預覽和進階預覽。
- 快速預覽可免費、快速檢驗資料加工腳本文法正确性,驗證加工規則的輸出結果是否符合預期,并且支援自定義測試資料或者從Logstore中選取特定日志進行測試。快速預覽不能真正連接配接到資源函數(res_local、res_rds_mysql、res_log_logstore_pull、res_oss_file)所指定的資源,如果在加工過程中涉及到函數資源,您可以在維表頁簽中輸入測試資料進行預覽。
- 進階預覽會産生一定的流量,計入資料加工費用。建議您通過快速預覽确認輸出結果符合預期後,使用進階預覽完整測試資源函數的配置準确性。
下表是這兩種預覽方式的對比:
預覽方式 | 計費 | 預覽速度 | 自定義輸入資料 | 完整加工流程 |
---|---|---|---|---|
快速預覽 | 免費 | 極快 | 支援 | 否(不會連接配接資源函數指定的資源) |
進階預覽 | 按流量 | 一般 | 不支援 | 是 |
- 在右上角選擇“快速”選項。
- 加工腳本編輯器左下方,在“原始日志”标簽頁中,我們可以看到目前logstore記憶體儲的原始資料。
- 對于每一條原始資料,我們都可以選擇将其“加入預覽資料”。
SLS【資料加工】調試手冊簡介快速預覽進階預覽後記 - 選擇好原始資料以後,選擇“測試資料”标簽頁,這裡面包含了“資料”和“維表”兩個子标簽頁。
- 選擇“資料”子标簽頁,這裡可以看到,已經從原始資料中選擇的資料條目。我們特可以輸入自定義資料
SLS【資料加工】調試手冊簡介快速預覽進階預覽後記
說明:
單次預覽的測試資料大小不超過1 MB。
多條測試資料之間用空行分隔。
跨行字段值使用Markdown編輯格式,通過
`
,識别整個字段。
在資料頁簽中配置的測試資料可以為KV格式或者JSON格式,其中KV格式資料使用冒号(:)連接配接字段名和字段值。
樣例:包含2條測試數目,第1條是KV格式(包含1個跨行字段traceback),第2條是JSON格式。
time_local: 25/May/2020:01:56:22
user agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.18 (KHTML, like Gecko) Chrome/11.0.661.0 Safari/534.18
"request:method": GET
{
"time_local": "25/May/2020:01:56:22",
"user agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.18 (KHTML, like Gecko) Chrome/11.0.661.0 Safari/534.18",
"request:method": "GET",
"remote user": "john"
}
- 選擇“維表”子标簽頁,如果加工腳本裡面包含了資源函數,我們可以在這裡指定每個資源函數對應的資源内容。
說明 在維表頁簽中配置的測試資料,如果是res_rds_mysql、res_log_logstore_pull資源函數對應的資料樣例必須為CSV格式,如果是res_oss_file、res_local資源函數對應的資料樣例可以為CSV格式,也可以為JSON格式。
樣例:包含2條測試資料,第1條是CSV格式,第2條是JSON格式。
ip,country,province
127.0.0.1,China,Shanhai
192.168.0.0,China,Zhejiang
[
{
"ip": "127.0.0.1",
"country": "China",
"province": "Shanhai"
},
{
"ip": "192.168.0.0",
"country": "China",
"province": "Zhejiang"
}
]
- 點選右上角“預覽資料”按鈕,開始預覽任務。
- 在“加工結果”标簽頁中,我們可以看到經過加工腳本處理以後的資料條目,和本次預覽的統計資訊。
- 在右上角選擇“進階”選項。
因為進階預覽會執行完整的資料加工流程,是以需要授權 SLS 讀取源 logstore 記憶體儲的資料作為教工的原始資料。授權配置參考
官方文檔。
後記
以上就是使用 SLS【資料加工】功能時,需要為資料加工授權的詳細步驟。如果您在使用 SLS 過程中有任何問題,請加入我們釘釘服務群,也歡迎關注 SLS 的微信技術公衆号和B站視訊号。