天天看點

1秒10億資料!阿裡雲日志服務再次更新

日前,在“2017杭州·雲栖大會”上阿裡雲宣布,日志服務與Splunk打通合作,同時面向億級實時日志分析功能上線。相容SQL92标準與JDBC協定,集中解決各類環境日志一站式需求,包括采集、存儲、投遞與查詢分析等,将日志分析提升到全新高度,達到國内領先水準。

日常生活中人和物的活動會産生大量的資料,而日志是一種常用記錄這類活動的載體。通過日志處理,分析可以幫助我們通過大資料找到背後的運作規律,做到業務的智能運維和營運。日志分析最終是拿到結果,但過程中往往需要通過軟體(例如kafka、ELK、Flume)等組合搭建日志處理系統,這給使用日志分析工作帶來很多問題和困擾。而阿裡雲日志服務是一種無托管的方案,無需使用者關心瑣碎的資料采集、擴容、維護、錯誤處理等工作,将精力集中投入在“分析”結果上。

在國外雲廠商方案中,一般需要通過幾個産品連接配接+組合才能搭建日志處理方案。就如要開一輛車,得購買幾個元件,在一些連接配接點上還需要寫一些處理程式才能運作起來,在使用過程中需要到不同産品中關注水位,以確定服務可用性。阿裡雲日志服務提供的是完整的解決方案,整體易用性更佳。

據了解,阿裡雲日志服務商業化一年内大約推出30+新功能,同時也将日志分析提升到新的高度,具備以下幾個特點:

快:傳統方案從資料産生到拿到結果往往最快需要接近分鐘。今天日志服務下的LogAnalytics功能夠在1秒内,完成資料采集 + 存儲 + 10億查詢 + 1億計算所有功能,這就意味着日志分析實時性達到前所未有速度。

強:傳統方案一般隻支援有限的查詢+聚合分析。但LogAnaltyics完整支援SQL 92文法,可以像分析報表資料一樣分析你的日志。

廣:除了與Docker、Storm、Spark Streaming、Hadoop、Hive、Presto + 阿裡雲大資料對接外,還支援了Grafana等著名開源資料可視化插件,友善與上層業務系統內建。

阿裡雲日志服務負責人介紹,目前主要有三個功能:LogHub,LogShipper,LogAnalytics。其中LogHub使用成本與其他方案相比,能節省60%以上時間和費用,極大節省了日志系統的投入。而目前阿裡雲提供的LogShipper功能也可以免費使用,能為使用者提供海量、高并發、高成本效益的日志處理系統。如果采集公網上使用者一天10 GB壓縮後的資料,如果通過自建方案需要16元/天,而使用LogHub 隻需要2元,大約為前者10%,且不需要任何運維上的投入。LogAnalytics在同樣規模,性能條件下,價格是自建方案10%。例如一天寫入50GB資料(其中27GB 為實際的内容),儲存90天,平均一個月的耗費對比如下圖:

1秒10億資料!阿裡雲日志服務再次更新

同樣性能,使用LogSearch/Analytics與ELK(SSD)費用比為 13.6%。

阿裡雲日志産品使用起來也非常簡單,主要分為兩個步驟:一是接入日志資料;二是在控制台配置并進行分析。之後無論是對接實時計算,還是數倉,或儀表盤還是報警都非常友善。

1秒10億資料!阿裡雲日志服務再次更新

據了解,該産品适合對日志處理、分析有需求的使用者場景。例如電子商務,媒體直播,遊戲,廣告,IoT和App開發使用者。這些場景上都有大量使用者、裝置産生的資料需要進行實時分析。而使用阿裡雲日志産品,則能更快更省更好地處理分析。

想了解更多阿裡雲日志産品,歡迎點選www.aliyun.com/product/sls。