Logstash,Fluentd, Logtail比較

摘要：

日志收集的場景

DT時代，數以億萬計的伺服器、移動終端、網絡裝置每天産生海量的日志。

中心化的日志處理方案有效地解決了在完整生命周期内對日志的消費需求，而日志從裝置采集上雲是始于足下的第一步。

​​

​​

三款日志收集工具

logstash

開源界鼎鼎大名ELK stack中的"L"，社群活躍，生态圈提供大量插件支援。

logstash基于JRuby實作，可以跨平台運作在JVM上。

子產品化設計，有很強的擴充性和互操作性。

fluentd

開源社群中流行的日志收集工具，td-agent是其商業化版本，由Treasure Data公司維護，是本文選用的評測版本。

fluentd基于CRuby實作，并對性能表現關鍵的一些元件用C語言重新實作，整體性能不錯。

fluentd設計簡潔，pipeline内資料傳遞可靠性高。相較于logstash，其插件支援相對少一些。

logtail

阿裡雲日志服務的生産者，目前在阿裡集團内部機器上運作，經過3年多時間的考驗，目前為阿裡公有雲使用者提供日志收集服務。

采用C++語言實作，對穩定性、資源控制、管理等下過很大的功夫，性能良好。相比于logstash、fluentd的社群支援，logtail功能較為單一，專注日志收集功能。

日志檔案收集場景 - 功能對比

功能項	logstash	fluentd	logtail
日志讀取	輪詢	輪詢	事件觸發
檔案輪轉	支援	支援	支援
Failover處理 (本地checkpoint)	支援	支援	支援
通用日志解析	支援grok（基于正規表達式）解析	支援正規表達式解析	支援正規表達式解析
特定日志類型	支援delimiter、key-value、json等主流格式	支援delimiter、key-value、json等主流格式	支援key-value格式
資料發送壓縮	插件支援	插件支援	LZ4
資料過濾	支援	支援	支援
資料buffer發送	插件支援	插件支援	支援
發送異常處理	插件支援	插件支援	支援
運作環境	JRuby實作，依賴JVM環境	CRuby、C實作，依賴Ruby環境	C++實作，無特殊要求
線程支援	支援多線程	多線程受GIL限制	支援多線程
熱更新	不支援	不支援	支援
中心化配置管理	不支援	不支援	支援
運作狀态自檢	不支援	不支援	支援cpu/記憶體門檻值保護

日志檔案收集場景 - 性能對比

日志樣例

以Nginx的access log為樣例，如下一條日志365位元組，結構化成14個字段：

​​

​​

在接下來的測試中，将模拟不同的壓力将該日志重複寫入檔案，每條日志的time字段取目前系統時間，其它13個字段相同。

相比于實際場景，模拟場景在日志解析上并無差異，有一點差別是：較高的資料壓縮率會減少網絡寫出流量。

logstash

logstash-2.0.0版本，通過grok解析日志并寫出到kafka（内置插件，開啟gzip壓縮）。

日志解析配置：

grok {
    patterns_dir=>"/home/admin/workspace/survey/logstash/patterns"
    match=>{ "message"=>"%{IPORHOST:ip} %{USERNAME:rt} - \[%{HTTPDATE:time}\] \"%{WORD:method} %{DATA:url}\" %{NUMBER:status} %{NUMBER:size} \"%{DATA:ref}\" \"%{DATA:agent}\" \"%{DATA:cookie_unb}\" \"%{DATA:cookie_cookie2}\" \"%{DATA:monitor_traceid}\" %{WORD:cell} %{WORD:ups} %{BASE10NUM:remote_port}" }
    remove_field=>["message"]
}      

測試結果：

寫入TPS	寫入流量 (KB/s)	CPU使用率 (%)	記憶體使用 (MB)
500	178.22	22.4	427
1000	356.45	46.6	431
5000	1782.23	221.1	440
10000	3564.45	483.7	450

fluentd

td-agent-2.2.1版本，通過正規表達式解析日志并寫入kafka（第三方插件fluent-plugin-kafka，開啟gzip壓縮）。

日志解析配置：

<source>
  type tail
  format /^(?<ip>\S+)\s(?<rt>\d+)\s-\s\[(?<time>[^\]]*)\]\s"(?<url>[^\"]+)"\s(?<status>\d+)\s(?<size>\d+)\s"(?<ref>[^\"]+)"\s"(?<agent>[^\"]+)"\s"(?<cookie_unb>\d+)"\s"(?<cookie_cookie2>\w+)"\s"(?
<monitor_traceid>\w+)"\s(?<cell>\w+)\s(?<ups>\w+)\s(?<remote_port>\d+).*$/
  time_format %d/%b/%Y:%H:%M:%S %z
  path /home/admin/workspace/temp/mock_log/access.log
  pos_file /home/admin/workspace/temp/mock_log/nginx_access.pos
  tag nginx.access
</source>      

測試結果：

寫入TPS	寫入流量 (KB/s)	CPU使用率 (%)	記憶體使用 (MB)
500	178.22	13.5	61
1000	356.45	23.4	61
5000	1782.23	94.3	103

注：受GIL限制，fluentd單程序最多使用1個cpu核心，可以使用插件multiprocess以多程序的形式支援更大的日志吞吐。

logtail

logtail 0.9.4版本，設定正規表達式進行日志結構化，資料LZ4壓縮後以HTTP協定寫到阿裡雲日志服務，設定batch_size為4000條。

日志解析配置：

logRegex : (\S+)\s(\d+)\s-\s\[([^]]+)]\s"([^"]+)"\s(\d+)\s(\d+)\s"([^"]+)"\s"([^"]+)"\s"(\d+)"\s"(\w+)"\s"(\w+)"\s(\w+)\s(\w+)\s(\d+).*
keys : ip,rt,time,url,status,size,ref,agent,cookie_unb,cookie_cookie2,monitor_traceid,cell,ups,remote_port
timeformat : %d/%b/%Y:%H:%M:%S      

測試結果：

寫入TPS	寫入流量 (KB/s)	CPU使用率 (%)	記憶體使用 (MB)
500	178.22	1.7	13
1000	356.45	3	15
5000	1782.23	15.3	23
10000	3564.45	31.6	25

單核處理能力對比

​​

​​

總結

• logstash支援所有主流日志類型，插件支援最豐富，可以靈活DIY，但性能較差，JVM容易導緻記憶體使用量高。
• fluentd支援所有主流日志類型，插件支援較多，性能表現較好。
• logtail占用機器cpu、記憶體資源最少，結合阿裡雲日志服務的E2E體驗良好，但目前對特定日志類型解析的支援較弱，後續需要把這一塊補起來。