簡介
資料實驗室是日志服務(Log Service,簡稱 SLS)最新推出的工具,為使用者提供各種場景的模拟日志資料,以及各種公共資料集資料。同時也根據場景建立對應的報表模闆,友善使用者從這些資料和報表模版入手以熟悉日志服務的查詢,報表編輯等各種操作。
第一期實驗室中提供了網站通路日志和 rds 記錄檔兩種模拟資料場景,并接入了疫情資料集。
入口

使用者權限
日志模拟寫入需要使用者授權,AliyunLogArchiveRole
完成權限授權之後,正式進入資料實驗室的界面。
場景介紹
資料分為模拟資料和資料集。
目前提供網站通路,資料庫審計兩種模拟資料場景,同時也接入了疫情場景資料。
在場景選擇界面,使用者可以選擇需要的資料場景,并點選初始化。
模拟資料:根據模拟配置生成的資料,可以按照需要對部分字段做配置,并随時間推移不斷産生新資料。
資料集:來自于各種場景的真實日志資料。
網站通路日志
提供網站通路日志場景,包括網站通路的模拟日志以及預制的網站通路報表。
可以通過檢視報表的設定來學習報表的配置方法,并且也可以直接動手進行改動與編輯。
在查詢界面可以對模拟日志進行查詢等日志服務正常操作。
資料庫審計日志
提供 rds 審計日志場景的模拟,同樣包含預制的審計報表等。
新冠疫情資料集
與日志服務之前提供的疫情資料一緻,使用者可以檢視每日更新的疫情實時資料。
模拟資料設定
目前的資料模拟借由資料加工任務實作,根據場景不同,預設配置了模拟日志的字段與類型。
使用者可以對部分字段的配置進行調整,例如對于 String 類型的字段:
該行表示字段名字為 scheme,字段的類型為 string,内容為 https 和 http,兩者的機率權重是 9:1。點選增減按鈕可以增減内容,并重新設定權重。
與字段類型類似,還有 Number 類型,可以設定為數字的随機範圍與權重。
頻率範圍
在頻率範圍設定中,可以通過時間範圍設定來指定模拟資料生成的起點時間與介紹時間,預設為目前時間的一小時前。如果不指定結束時間,那麼模拟資料會一直持續生成。
分布模型分為:随機,周期與線性
異常點:是指在上文資料量分布模式中所确定的資料量基礎上,随機選擇某些周期,這些周期内的資料量會出現異常變化,變化的倍率使用者指定。
可以指定多個獨立異常選項,每個資料周期最多隻會出現一個異常點,優先模拟排在前面的異常選項。
異常點的兩個值分别為出現機率和倍數。
日志生成
點選開始導入之後,會為使用者建立資料實驗室專用的 project 以及對應場景的 logstore。
資料模拟服務啟動需要大約 1 分鐘的時間,之後就可以直接開始使用了。
點選開始使用後,預設我們會為使用者跳轉到每個場景的報表中心,
使用者可以馬上開始檢視我們預先為每個場景準備的報表,并且可以進行查詢與分析操作。
除了在實驗室界面中進行查詢等操作以外,使用者同樣也可以進入 datalab 的項目界面進行直接操作。
場景删除
在删除場景時,預設會将資料模拟任務停止,同時也可以選擇是否要删除對應的 logstore 以及 dashboard。
收費與限制
目前提供的三個場景都可以免費使用,資料保留 7 天,shard 數為 1。但是使用者無法對 logstore 進行資料寫入,index 編輯等操作。資料實驗室提供的 logstore 隻可以用于模拟資料的存儲。
後續與展望
資料實驗室之後會上線更多的日志場景與資料集,同時會與我們之前上線的 SQL 案例中心進行關聯,讓使用者可以非常友善的執行各種 SQL 語句。
并且我們在之後會開放使用者自定義模拟的功能,讓使用者可以完全模拟自己需要的日志。