Logz.io提供了基于機器學習的日志分析

logz.io提供了一種使用機器學習進行智能日志分析的托管服務。該服務能夠從人類與日志資料的互動中獲得新的觀點，這些日志資料包括技術論壇上的讨論内容和公共代碼庫。

devops團隊使用elk這類日志分析工具中心化了日志的聚合和索引過程，但是現代應用正快速地生成大量的日志和度量名額，日志的龐大規模使得日志分析工作難以順利進行。另一方面，所采集度量名額的數量也在快速地增長，這導緻傳統監測工具隻能用來做資料展示。資料在規模上的增長也導緻了基于門檻值的報警不再适用，這也引發了異常檢測系統的異軍突起，這些系統包括anomaly.io、datadog和sumologic，以及etsy的skyline這樣的開源系統。

相比異常檢測系統而言，logz.io所提供的服務更進了一步，它給出了對異常情況的深層見解，這些見解是通過在人們的網絡互動資料上進行機器學習得出的。這些資料中包括在stackoverflow和github這樣的網站上對類似異常情況的讨論。如果單純地使用google搜尋異常情況，這常會出現大量的搜尋結果，logz.io是如何做到對相關結果的過濾的呢？infoq聯系了logz.io公司的ceo和聯合創始人tomer levy，他對此做了詳述：

logz.io使用了機器學習技術去了解線索的情境、線索所指的産品、是否有解決方案以及提問者對給出的方案是否滿意。我們還拿自有的使用者資料跟這些線索進行交叉引用。

此外，levy還指出：“在給出了對使用者關注的見解後，我們進而基于他/她對該見解的回報情況對它們之間的相關性進行評估。”這就實作了一種回報閉環，使得該服務系統可以與時俱進。

很多現代的軟體産品都是使用開源程式庫建構的，是以大部分情況下在網際網路上搜尋這些産品的某個錯誤或異常都會給出搜尋結果。但也應考慮到在極少數情況下，還有一些産品是完全從頭建構的，沒有使用任何公開可用的代碼。對此，logz.io計劃在未來釋出一種“非公開見解”，允許組織定義自己的異常和異常的相關細節。

logz.io采用了elasticsearch-logstash-kibana（elk）技術棧作為背景，提供的服務托管在logz.io私有雲上，這意味着日志資料必須要從各個應用端傳輸到該私有雲中。對那些部署了自有elk的組織來說，logz.io提供了本地日志傳輸器，幫助這些組織将資料安全傳輸到logz.io雲上。

作為對如何解決企業所關注的資料安全問題的回應，levy說道：

在資料安全方面，我們投入大量精力在資料加密和全面的安全流程上。logz.io聘請了安永會計師事務所對安全基礎設施和流程進行審計，并在近期通過了歐盟對soc 2 ii型報告和iso-27001标準的合規審計。此外，公司的資料是在美國托管的。為確定遵守歐盟的法規，基于歐盟的企業可以選擇将資料放在法蘭克福儲存。

本文轉自d1net（轉載）