日志服務（SLS）資料模拟器初體驗
一、背景
日志服務SLS（
https://help.aliyun.com/document_detail/48869.html）是阿裡集團自研的一站式日志平台，它包含資料實時采集、資料加工、智能查詢分析以及資料分發四大基礎功能，使用者無需開發就能能夠開箱即用地使用它來提升運維、營運效率，建立 DT 時代海量日志處理能力。
日志服務SLS支援從40+管道采集日志資料，涵蓋用戶端、網頁、協定、SDK、API等多種日志采集方式（
https://help.aliyun.com/document_detail/28981.html），為使用者提供了強大的資料采集能力。然而在一些測試或Demo場景下，使用者無法接入日志資料，或者SLS提供的資料采集方式會顯得代價過高。試想如下三種場景：
場景一：使用者想體驗SLS對OSS（阿裡雲對象存儲服務）通路日志的查詢分析和可視化能力，但是不想開通OSS服務。
場景二：使用者想在SLS中接入主機監控日志來體驗SLS的時序存儲與分析能力，但是真實場景的資料由于敏感性原因無法接入。
場景三：使用者想持續往SLS的日志庫中接入Nginx通路日志，以用于測試SLS的資料加工功能，但是沒有真實的Nginx日志用于持續采集。通過代碼持續模拟Nginx通路日志，并通過SDK的方式寫入的方式對于使用者來說較為繁瑣。
在以上三種場景下，使用者想要使用SLS的日志查詢分析、可視化以及資料加工等功能，卻苦于無法接入測試日志資料。為了解決以上場景的資料接入痛點，SLS推出資料模拟器，助力使用者更簡單、快速地接入貼近真實場景模拟資料。
二、資料模拟器簡介
SLS資料模拟器是SLS提供的一個專用于接入模拟資料的資料接入方式，使用者可以利用資料模拟器在自己的Logstore中生成并接入模拟資料。
目前SLS資料模拟器支援21種不同的資料模拟場景，包含各類阿裡雲雲産品日志（SLB七層日志、OSS通路日志等）、自建開源/商業軟體日志（Nginx通路日志等）以及Metric日志（主機監控日志等）。除了生成不同場景的模拟資料之外，SLS資料模拟器還會每個資料場景配套生成一些内置報表，用于可視化展示生成的模拟資料。
SLS資料模拟器具體支援的資料場景以及對應的内置報表如下：
阿裡雲雲産品日志
| 日志場景名稱 | 所屬雲産品 | 内置報表 |
|---|---|---|
| SLB七層日志 | 負載均衡 SLB | SLB記錄檔、SLB通路日志 |
| RDS審計日志 | 雲資料庫RDS | RDS審計中心、RDS審計安全中心、RDS審計性能中心 |
| WAF日志 | Web應用防火牆 | WAF安全中心、WAF營運中心、WAF通路中心 |
| VPC流日志 | 專有網絡VPC | VPC流日志概覽 |
| 雲防火牆日志 | 雲防火牆 | 雲防火牆統計中心 |
| DRDS日志 | 雲原生分布式資料庫 | DRDS日志性能中心、DRDS日志營運中心、DRDS日志安全中心 |
| NAS通路日志 | 檔案存儲NAS | NAS營運中心、NAS檔案系統操作統計中心、NAS檔案系統明細資訊 |
| CDN日志 | CDN | CDN錯誤分析、CDN基礎資料、CDN熱門資源、CDN使用者分析 |
| DDoS日志 | DDos防護 | DDoS通路中心、DDoS營運中心 |
| API網關日志 | API網關 | API網關通路統計中心 |
| 函數計算消費日志 | 函數計算 | 無 |
| Redis審計日志 | 雲資料庫Redis版 | Redis審計中心 |
| OSS通路日志 | 對象存儲OSS | OSS運維中心、OSS性能中心、OSS通路中心、OSS審計中心 |
| OSS計量日志 | ||
| SAS主機程序日志 | 雲安全中心 | 主機日志-程序中心 |
| SAS主機登入日志 | 主機日志-登入中心 | |
| SAS主機網絡日志 | 主機日志-網絡中心 | |
| Kubernetes-Ingress日志 | 容器服務Kubernetes版 | Ingress異常檢測中心、Ingress監控中心、Ingress通路中心、Ingress藍綠釋出監控、Ingress概覽 |
自建開源/商業軟體日志
| Nginx通路日志 | Nginx通路日志中心 |
| Tomcat通路日志 | Tomcat通路日志中心 |
Metirc日志 (時序）
| 主機監控日志 | 主機監控中心 |
三、開始使用資料模拟器
1. 使用入口
使用者目前可以通過兩種方式使用資料模拟器。第一種方式是在
日志服務控制台首頁的【接入資料】功能區中，選擇【模拟接入】的接入方式（圖1）。
圖1 控制台首頁【接入資料】功能區選擇【模拟接入】
可通過點選檢視更多資料源檢視所有支援的模拟資料場景（圖2）。
圖2 目前支援的所有模拟資料場景
第二種方式是進入項目（Project）後，在Logstore的功能菜單上，點選資料接入->模拟接入側邊的“+”按鈕（圖3）
圖3 Logstore功能菜單中的【模拟接入】功能
随後會彈出模拟接入的視窗，展示目前支援的所有模拟資料場景。
圖4 點選【模拟接入】後展示所有支援的模拟資料場景
使用者選擇一個需要模拟的資料場景，點選【模拟】後（圖5），便會進入模拟資料的配置流程。使用者配置完成後，資料模拟器會根據使用者的配置生成相應資料場景的模拟資料。
圖5 點選【模拟】開始模拟資料
2. 資料模拟器配置流程
2.1 選擇模拟資料場景
以SLB七層日志為例，在日志服務控制台首頁【接入資料】功能區中，選擇模拟資料類的接入方式後，找到【SLB七層日志】，并點選【模拟】（參考圖6）**。
圖6 選擇SLB七層日志進行模拟
2.2 選擇存儲模拟資料的項目和日志庫
在選擇完資料場景并點選【模拟】後，根據提示選擇相應的項目（Project）和日志庫（Logstore），用于存儲生成的模拟資料（參考圖7）。如果沒有現成的項目和日志庫，使用者也可以在這一步建立相應的項目和Logstore。如果是在Project内部的Logstore功能菜單上點選的【模拟接入】，則會自動跳過此步驟。
圖7 選擇或建立Project和Logstore
注：如果點選【正常接入】，則會引導使用者使用SLS提供的資料采集或接入方式，接入對應場景的真實資料，而非模拟場景。
2.3 配置模拟任務
選擇完存儲模拟資料的Project和Logstore後，點選下一步，進入模拟任務的配置界面。配置界面包含兩部分内容：【範圍頻率】配置與【日志字段】配置（圖8）。
圖8 模拟任務配置界面
在【範圍頻率】配置的标簽頁中可配置如下内容：
| 配置項 | 說明 |
|---|---|
| 時間範圍 | 指定模拟資料生成的起始時間與結束時間。如果不指定結束時間，會持續生成模拟資料。 |
| 分布模型 | 生成模拟資料的資料量分布模型，包括随機、周期與線性，使用者可以自定義分布模型的相關參數。以周期分布為例，使用者可以自定義變化周期、最小值、最大值和抖動值。 - 變化周期：資料量分布變化周期，支援秒、分鐘、小時、天和周。 - 最小值：每秒最小資料量。 - 最大值：每秒最大資料量。 - 抖動值：例如設定抖動為0.1，模型資料量為count，則最終的資料量在[0.9count, 1.1count]之間随機。 |
| 異常點 | 在分布模型中所确定的資料量的基礎上，随機選擇某些時間點，在這些時間點上，資料量會出現異常變化，使用者可以指定出現異常點的機率和異常點資料量變化的倍率。使用者可以配置多個異常選項。 |
在【日志字段】配置的标簽頁中定義了字段名稱、字段資料類型、字段随機參數和字段值等資訊，使用者可以根據需求，調整字段随機參數和字段值（圖9）。
圖9 配置日志字段
配置完範圍頻率與日志字段的資訊後，點選【開始導入】，便會在Logstore中建立資料模拟任務并生成模拟資料（相應的日志索引也會自動建立），此過程大約需要一分鐘左右的時間（圖10）。
圖10 建立模拟任務并生成模拟資料
上述過程完成後，點選【開始使用】，便可在Logstore中查詢到對應的模拟日志資料（圖11）。
圖11 檢視生成的模拟日志
3. 模拟資料的查詢分析與可視化
在模拟資料生成之後，使用者可以對模拟日志進行
查詢分析并建立對應的
可視化圖表與
儀表盤。SLS資料模拟器除了生成模拟資料之外，還為每個模拟資料場景配備了一些内置報表，從不同次元對模拟資料進行可視化地展示。在模拟資料導入進Logstore後，會自動建立這兩個儀表盤，來可視化地展示模拟日志的分析與統計情況。
對于雲産品日志，以SLB七層日志為例，該模拟場景提供了【SLB通路日志】（圖12）和【SLB記錄檔】（圖13）兩個可視化儀表盤，可視化地展示了SLB的通路和操作統計。
圖12 SLB七層日志内置儀表盤——SLB通路日志中心
圖13 SLB七層日志内置儀表盤——SLB記錄檔中心
對于自建/開源商業軟體日志，以Nginx通路日志為例，該模拟場景提供了【Nginx通路日志】（圖14）這個可視化儀表盤，可視化地展示了Nginx通路各項名額的統計情況。
圖14 Nginx通路日志内置儀表盤——Nginx通路日志中心
對于Metric（時序）日志，以主機監控為例，該模拟場景提供了【主機監控】（圖15）這個可視化儀表盤，可視化地展示了主機各項名額的統計情況。
圖15 主機監控内置儀表盤——主機監控中心
4. 模拟資料的其他使用場景
除了對模拟日志進行查詢分析與可視化外，使用者還可以在自己的Logstore中，基于生成的模拟日志，使用SLS的全鍊路功能，如：
1）基于模拟日志建立
告警；
2）使用
SLS資料加工功能對模拟日志進行規整、富化、分發、彙總、重建索引等加工操作；
3）使用
SLS資料投遞功能将模拟日志實時投遞至OSS、MaxCompute等阿裡雲産品中，對接資料倉庫；
4）使用SLS提供的
日志消費功能對模拟日志進行實時消費，用于流計算、實時計算或對接開源生态（Flink，Blink，Spark Streaming...）等;
5）...（更多功能參考
日志服務官方文檔）
四、結語
在很多測試或Demo場景下，模拟資料的接入是一個經常會遇到的痛點。SLS資料模拟器為使用者提供了便捷的模拟資料接入方式，使使用者能一鍵式生成貼近真實場景的模拟資料到SLS日志庫中。使用者可以利用SLS資料模拟器将20+場景的模拟資料接入到自己的Logstore中，進而使用SLS的全鍊路功能（查詢分析、可視化、告警、資料加工...）。更進一步地，使用者還可以使用SLS資料投遞功能将模拟資料輸出到其他資料倉庫中，抑或是使用SLS日志消費功能，将模拟資料用于流計算、實時計算等，對接開源生态。
SLS資料模拟器将在未來提供更豐富的資料模拟場景的支援，如果您也有一些資料場景并且希望在SLS資料模拟器中內建這些場景，歡迎聯系我們！
- 知乎專欄：aliyunlog
- 微信公衆号：日志服務
- 郵箱：[email protected]