分析功能新增視窗、邏輯運算、二進制處理、Lamdba等分析函數,提升日志處理分析能力。新增處理函數如下:
視窗函數:支援跨行計算與聚合
二進制字元串:支援二進制與字元串操作處理
位運算:支援二進制位操作
映射函數:支援Map、數組、Lambda運算結果轉化
比較運算符:判斷參數的大小關系,可以應用于任何可比較類型:int , bigint, double ,text
Lamdba函數:進行Lambda表達式運算
邏輯運算:支援布爾邏輯運算操作
新增函數能夠擴充資料處理與運算能力,提供更強的資料統計與分析支援。
<a href="https://github.com/aliyun/aliyun-log-c-sdk/tree/lite">使用說明(Lite分支)</a>
C Producer Lite版本大幅優化記憶體占用,能夠支援在記憶體受限的環境中使用。
C Producer Lite是用純C編寫的日志采集用戶端,提供更加精簡的環境依賴以及更低的資源占用,試用于各類嵌入式/智能裝置的日志采集。
該版本性能相對C Producer有30%以上提升,資源占用相比C Producer大大降低(詳細請參考性能測試): 除去libcurl占用,運作期間記憶體占用80KB左右, 編譯後的動态庫僅有65KB(strip後)。
C Producer Lite 會簡化您程式開發的步驟,您無需關心日志采集細節實作、也不用擔心日志采集會影響您的業務正常運作,大大降低資料采集門檻。
日志服務查詢分析功能(LogSearch)新增中文支援,查詢分析時會了解中文語義進行自動分詞,提升查詢準确率。
日志服務提升了查詢引擎處理能力,除英文字元外新增中文字元支援,在中英文混雜或全中文日志中,隻要打開爆開中文選項就會自動解析日志中的中文部分,并對日志和查詢條件進行智能分詞,提升日志查詢友好度與準确性。
日志服務查詢分析新增Json格式支援,提升日志分析能力。
由于Json類自描述字段的靈活性,在日志中被大量使用。日志服務提供Json字段功能,能夠智能解析字段中的嵌套文本、布爾類型,識别對應實體。對于數值等類型,在配置完路徑後能夠像普通字段類型一樣進行查詢與分析。
通過該功能,在無需清洗的情況下就可以一站式解決Json類資料解析困難問題,便捷地進行查詢與分析。
用戶端Logtail新增原生K8S支援,完善Docker日志方案。
使用者隻需要在Kubernetes叢集中的部署Logtail的DaemonSet,即可實作該叢集上所有主控端日志、容器日志/stdout等所有資料源的一站式采集。該方案主要優勢:
大大簡化K8S日志采集運維負擔,1分鐘内即可完成整個叢集部署,并且後續叢集動态伸縮無需對采集做任何二次部署
支援容器自動發現:容器生命周期與啟停自動維護,支援自定義Label篩選待采集的容器
支援容器檔案自動渲染:隻需要配置容器内的檔案路徑(支援各種采集模式),無需關心容器路徑等變化細節
保證可靠性:針對容器資料采集的動态特點,新增了容器标準輸出及容器檔案的checkpoint維護機制
通過該功能,使用者可以完整解決k8s上日志采集難的問題。
日志服務與負載均衡(SLB)産品打通,支援通路日志實時處理與分析。方案可以在幾十秒内,實時将負載均衡産生通路日志與日志服務聯通,使用者可以進行日志實時訂閱與處理,将日志與資料倉庫打通,對日志進行實時查詢與分析等。該方案有如下優勢:
海量:通路日志與SLB執行個體請求PV成正比,往往資料規模很大,處理通路日志需要考慮性能和成本問題。日志服務可以1秒鐘分析一億日志,且相較于開源方案有明顯成本優勢
實時:DevOps、監控、報警等場景要求日志資料的實時性。傳統手段無法滿足這一需求,例如将資料ETL到離線處理工具分析耗時很長,其中大量的工作花費在資料內建階段。負載均衡通路日志結合阿裡雲日志服務強大的大資料計算能力,秒級分析處理實時産生的日志
彈性:可按負載均衡執行個體級别開通或關閉通路日志功能。可任意設定存儲周期(1-365天),并且日志Logstore容量可以動态伸縮滿足業務增長需求
該方案将開發、運維人員從日志處理的繁瑣耗時中解放出來,快速進行業務診斷與分析。
日志服務與WAF産品打通,支援通路日志實時處理與分析,請聯系我們開通。
日志服務與态勢感覺産品打通,支援通路日志實時處理與分析,請聯系我們開通。
使用者在控制台上可以使用如下新增功能:
支援索引視窗配置Json和中文分詞
同步更新阿裡雲控制台頂部導航和左側導航
支援日本站資料接入向導
支援世界地圖和高德地圖
通過日志服務控制台功能提升,優化使用者分析能力和便捷性。