天天看點

萬能日志資料收集器 Fluentd - 每天5分鐘玩轉 Docker 容器技術(91)

前面的 ELK 中我們是用 Filebeat 收集 Docker 容器的日志,利用的是 Docker 預設的 logging driver <code>json-file</code>,本節我們将使用 <code>fluentd</code> 來收集容器的日志。

Fluentd 是一個開源的資料收集器,它目前有超過 500 種的 plugin,可以連接配接各種資料源和資料輸出元件。在接下來的實踐中,Fluentd 會負責收集容器日志,然後發送給 Elasticsearch。日志處理流程如下:

萬能日志資料收集器 Fluentd - 每天5分鐘玩轉 Docker 容器技術(91)

這裡我們用 Filebeat 将 Fluentd 收集到的日志轉發給 Elasticsearch。這當然不是唯一的方案,Fluentd 有一個 plugin <code>fluent-plugin-elasticsearch</code> 可以直接将日志發送給 Elasticsearch。條條道路通羅馬,開源世界給予了我們多種可能性,可以根據需要選擇合适的方案。

同樣的,最高效的實踐方式是運作一個 fluentd 容器。

fluentd 會在 TCP/UDP 端口 24224 上接收日志資料,日志将儲存在 Host 的 <code>/data</code> 目錄中。

編輯 Filebeat 的配置檔案 <code>/etc/filebeat/filebeat.yml</code>,将 <code>/data</code> 添加到監控路徑中。

萬能日志資料收集器 Fluentd - 每天5分鐘玩轉 Docker 容器技術(91)

重新開機 Filebeat。

啟動測試容器。

docker run -d \

--log-driver=fluentd \

--log-opt fluentd-address=localhost:24224 \

--log-opt tag="log-test-container-A" \

busybox sh -c 'while true; do echo "This is a log message from container A"; sleep 10; done;'

--log-opt tag="log-test-container-B" \

busybox sh -c 'while true; do echo "This is a log message from container B"; sleep 10; done;'

<code>--log-driver=fluentd</code> 告訴 Docker 使用 Fluentd 的 logging driver。

<code>--log-opt fluentd-address=localhost:24224</code> 将容器日志發送到 Fluentd 的資料接收端口。

<code>--log-opt tag="log-test-container-A"</code> 和 <code>--log-opt tag="log-test-container-B"</code> 在日志中添加一個可選的 tag,用于區分不同的容器。

容器啟動後,Kibana 很快就能夠查詢到容器的日志。

萬能日志資料收集器 Fluentd - 每天5分鐘玩轉 Docker 容器技術(91)

Fluentd 咱們就讨論到這裡,下一節開始學習 Graylog。

書籍:

1.《每天5分鐘玩轉Docker容器技術》

<a href="https://item.jd.com/16936307278.html" target="_blank">https://item.jd.com/16936307278.html</a>

2.《每天5分鐘玩轉OpenStack》

<a href="https://item.jd.com/12086376.html" target="_blank">https://item.jd.com/12086376.html</a>

萬能日志資料收集器 Fluentd - 每天5分鐘玩轉 Docker 容器技術(91)