新功能
1. 智能日志聚類(LogReduce)
摘要
新增智能文本模式聚類功能(LogReduce),能夠在搜尋分析過程中幫助發現日志的規律與特征,提升重要資訊發現能力。
适用客戶
開發者、運維、安全分析師
詳細說明
使用者在Logstore中開啟文本模式聚類後,可以在查詢中使用log_reduce()函數對海量日志進行模式(pattern)自動聚類,相似格式的日志會自動分為同一類,該方案有如下特點:
- 智能:無縫适配各種日志格式,例如Log4J,分隔符,Json等日志
- 海量資料實時處理:支援對億級的資料秒級分析出結果
- 互動性:對聚類後日志提供簽名(Signature)進行反查
-
靈活:支援前期任意條件篩選結果聚類,支援對不同時間聚類結果進行比較,支援手動調節聚類精度
通過該功能可以快速對海量日志進行智能分析,快速有效定位問題。
文檔
2. 告警功能更新
日志服務告警功能全面更新,新增電話、自定義郵件、短信、釘釘配置等功能,提供更豐富、靈活、可配置、所見即所得的告警設定。
開發者、運維人員
日志服務告警功能全面更新,支援如下新特性:
- 控制台互動:基于儀表盤建立告警(所見即所得),全新的告警管理清單頁支援告警狀态、曆史記錄檢視、快捷操作按鈕
- 告警大盤:在您配置告警任務的project下預設新增一個内置LogStore(免費)和儀表盤用于存儲告警曆史與數字統計,讓告警管理更簡單
- 告警計算:支援多個圖表(SQL查詢)結果的組合計算判斷觸發,新增如四則運算、括号優先級等運算符
- 告警條件:新增臨時關閉告警、禁用告警通知、自定義通知間隔支援
- 通知方式:新增郵件通知選項,并且可以支援多選(例如同時進行釘釘、郵件通知)
- 通知内容:強大的模闆變量支援,您可以從告警查詢結果中提取字段内容進行告警内容的編排,讓告警内容更精準
- 告警搠因:可以從告警資訊上快速深鑽到與告警結果相關聯的圖表名額、告警曆史記錄
- 查詢周期:告警結果所依賴的SQL查詢周期支援1天以上的區間(從計算性能考慮,大流量LogStore請謹慎設定超大時間區間)
- 新模式:支援使用者通過通知中心訂閱日志服務告警語音通知或者通過手機号碼發送語音告警;
- 靈活配置:支援在告警通知Webhook中自定義header;釘釘通知支援@部分或者全體群成員,支援自定義标題;支援自定義郵件主題
3. Windows Logtail釋出
Windows Logtail 全新釋出,支援完整Logtail功能
Windows Logtail全新更新,支援完整Linux Logtail支援功能:
- 補齊自定義插件、導入曆史日志檔案等 Linux 版本獨占功能,現已實作和 Linux 版本的對齊。更新及安裝說明可見 。
- 日志采集插件能夠對任意 Windows 事件日志進行采集,既包括應用程式、安全、系統等常見通道,也支援事件檢視器中的其他自定義通道。
- https://help.aliyun.com/document_detail/49006.html
- https://help.aliyun.com/document_detail/101177.html
4 手機号歸屬地查詢函數
日志服務查詢分析功能新增手機号轉省份、城市、營運商函數
日志服務查詢分析功能新增手機号轉歸屬地的功能,可以調用mobile_province, mobile_city和mobile_carrier等函數查詢手機号的歸屬地資訊,有效的幫助客戶分析資料的地理位置。
https://help.aliyun.com/document_detail/98580.html
功能+體驗優化
1. Logtail-Binlog 優化
Logtail MySQL binlog 插件支援以 GTID 作為 checkpoint 來維護同步進度,解決主備 binlog 序号不一緻時的資料重複采集問題。
除了原先的基于 binlog 序号(檔案及偏移)的 checkpoint 機制,MySQL binlog 新增基于 GTID 的 checkpoint,主要功能:
- 根據 MySQL 伺服器的版本和啟用狀态,自動判斷是否使用基于 GTID 的 checkpoint 類型,如果可用,将優先使用,如果不可用,仍舊使用基于 binlog 序号的 checkpoint。
- 基于 GTID 的 checkpoint 機制能夠有效解決主備 binlog 序号不一緻時引起的資料重複采集問題。
https://help.aliyun.com/document_detail/64953.html
2. Logtail-Kubernetes 優化
Logtail Kubernetes日志采集優化,支援更多中繼資料采集。
Logtail Kubernetes日志采集增加上傳Node節點Meta資訊(NodeIP以及NodeName);CRD配置支援自動建立包含Kubernetes相關Meta的索引;Sidecar模式日志采集增加上傳Pod以及Node節點Meta資訊。
https://help.aliyun.com/document_detail/66654.html
3. 機器學習函數優化
- 在ts_predicate_simple/ar/arma/arima函數中,添加isSmooth參數,用來控制是否對原始時序資料進行濾波操作
- 釋出ts_regression_predict函數,提供了'origin','forest','linear'三種時序預測算法
- 提供ts_find_peaks局部極值檢測函數
- 在ts_smooth_simple函數中,将三重指數平滑的算法參數爆率出來,同時提供wavelet算法模式,可以較好的儲存原始序列中的低頻信号
- 在底層引入小波算法,優化了針對的周期序列中的周期檢測效果
4. 控制台嵌入功能增強
控制台支援通路時行動态鑒權
控制台支援每次方式時動态鑒權,變化如下:
- 已有的控制台嵌入功能,生成的免登連結對應的通路權限直接繼承于對應的角色權限,如果嵌入後需要對不同使用者設定不同通路權限,需要建立大量的角色以指定不同的權限,對于管理以及角色映射上帶來了很大困難。
- 新版嵌入功能,支援生成免登連結時動态指定本次通路對應的權限,該權限必須為角色權限的子集,通過此方式,可以在為不同使用者生成免登連結時動态設定具體的權限,最終隻需要管理一個角色即可,大大友善企業使用者将日志服務控制台與内部賬戶系統進行權限管理。
https://help.aliyun.com/document_detail/74971.html
5. 控制台體驗優化
新增功能
- 分隔符模式下新增接受部分字段開關,以判斷日志分隔後實際字段數少于預設Key數量時,是否上傳日志
- 接入向導内增加态勢感覺和DRDS入口
- table圖表優化,自定義列縮進,單個字段内容過長可進行展開,收起的操作
- 索引配置框性能優化,添加分頁器
- 查詢頁面左側資源樹狀重構,優化性能
- markdown支援綁定查詢變量
- 快速查詢頁面顯示目前logstore
修複Bug
- 修複html内容在表格圖表會被解析的問題
- 修複輸入包含不同機器學習函數的query,無法識别函數類型的問題
- 修複dashboard圖表加載順序可能引發頁面重新重新整理的問題
- 修複dashboard選擇整體時間,點選重置時間失效的問題
- 修複矩形樹圖存在name字段的關鍵字,導緻資料顯示不全的問題
- 修複時間選擇器選擇今日整點,顯示今日相對的問題
支援雲産品
1. WAF日志實時分析
阿裡雲WAF日志分析(LogAnalysis)提供阿裡雲WAF通路與攻擊日志的實時收集、查詢與實時分析、存儲和分發等一站式服務。
安全運維人員、安全營運營運人員、安全系統開發者、CIO等
實時全要素日志采集: 幫助使用者及時全面網站被通路與攻擊狀況。
智能查詢分析,内嵌詳細的查詢文法: 支援實時檢索和查詢分析資料,可查詢多種複雜場景下的日志,幫助使用者更好發現各類隐蔽安全風險,避免對業務造成嚴重損失。
- 快速分析: 提供快速分析功能,為使用者提供一鍵互動式查詢體驗,幫助您快速分析某一字段在一段時間内的分布情況和占比,減少索引關鍵資料的時間成本。
- 豐富的報表儀表盤界面: 日志報表頁面可集中展示運維, 通路與安全3類儀表盤的相關資料,支援接入多種可視化平台。
- 自定義報表: 支援使用者基于自己的業務特點自定義報表和儀表盤。
- 導出日志: 支援導出日志到本地或其他資料倉庫,幫助使用者開展安全審計工作或者備案提供依據。
2. 新BGP高防 - 實時日志分析釋出
阿裡雲新BGP高防日志分析提供阿裡雲新BGP高防7層通路與攻擊日志的實時收集、查詢與實時分析、存儲和分發等一站式服務。
- 對雲上資産的安全日志有存儲合規需求的大型企業與機構,如金融公司、政府類機構等。
- 擁有自己的安全營運中心(SOC),需要收集安全告警等日志進行中央營運管理的企業,如大型地産、電商、金融公司、政府類機構等。
- 擁有較強技術能力,需要基于雲上資産的日志進行深度分析、對告警進行自動化處理的企業,如IT、遊戲、金融公司等。
該功能提供:
- 輕松配置,即可實時高防日志采集。購買後的新配置的網站自開啟日志功能.
- 依托日志服務,提供實時日志分析,并提供開箱機用的報表中心(支援定制),對被保護服務的執行狀況、性能、潛在安全問題了如指掌,并可實時挖掘細節。
- 免費提供30天存儲及3TB的額度.
- 支援基于特定名額,支援定制準實時監測與報警,確定關鍵業務異常及時響應。
- 可對接其他生态如流計算、雲存儲、可視化方案,進一步挖掘資料價值。
https://help.aliyun.com/document_detail/99108.html
3. 反爬風險管理 - 實時日志分析釋出
阿裡雲反爬風險管理日志分析提供阿裡雲反爬通路與攻擊日志的實時收集、查詢與實時分析、存儲和分發等一站式服務。
- 擁有大量優質與知識産權的視訊、圖檔、文字載體的内容、教育、媒體、咨詢類網站。
- 面向大量優質客戶,并頻繁更新Web上金融、電商、服務資訊的網際網路企業,如航空、政府、電商、金融網站。
該功能特點如下:
- 配置簡單:輕松配置即可實作反爬通路與攻擊日志的實時采集。
- 實時分析:依托日志服務産品,提供實時日志分析能力、開箱即用的報表中心與自帶互動挖掘支援,從0到1, 讓您對網站業務的各種爬蟲攻擊狀況以及客戶通路細節了如指掌。
- 實時告警:支援基于特定名額定制準實時的監測與告警,確定在關鍵業務發生異常時能第一時間響應。
- 生态體系:支援對接其他生态如實時計算、雲存儲、可視化等方案,進一步挖掘資料價值。
- 費用:免費提供14天實時通路與攻擊日志的存儲。