概述
應用一旦容器化以後,需要考慮的就是如何采集位于 Docker 容器中的應用程式的列印日志供運維分析。典型的比如SpringBoot應用的日志收集。
本文即将闡述如何利用ELK日志中心來收集容器化應用程式所産生的日志,并且可以用可視化的方式對日志進行查詢與分析,其架構如下圖所示:

架構圖
鏡像準備
- ElasticSearch鏡像
- Logstash鏡像
- Kibana鏡像
- Nginx鏡像(作為容器化應用來生産日志)
開啟Linux系統Rsyslog服務
修改Rsyslog服務配置檔案:
vim /etc/rsyslog.conf
開啟下面三個參數:
$ModLoad imtcp
$InputTCPServerRun 514
@@localhost:4560
開啟3個參數
意圖很簡單:讓Rsyslog加載imtcp子產品并監聽514端口,然後将Rsyslog中收集的資料轉發到本地4560端口!
然後重新開機Rsyslog服務:
systemctl restart rsyslog
檢視rsyslog啟動狀态:
netstat -tnl
部署ElasticSearch服務
*docker run -d -p 9200:9200 \
-v ~/elasticsearch/data:/usr/share/elasticsearch/data \
--name elasticsearch elasticsearch*
部署Logstash服務
添加 ~/logstash/logstash.conf 配置檔案如下:
input {
syslog {
type => "rsyslog"
port => 4560
}
}
output {
elasticsearch {
hosts => [ "elasticsearch:9200" ]
}
}
配置中我們讓Logstash從本地的Rsyslog服務中取出應用日志資料,然後轉發到ElasticSearch資料庫中!
配置完成以後,可以通過如下指令來啟動Logstash容器:
docker run -d -p 4560:4560 \
-v ~/logstash/logstash.conf:/etc/logstash.conf \
--link elasticsearch:elasticsearch \
--name logstash logstash \
logstash -f /etc/logstash.conf
部署Kibana服務
*docker run -d -p 5601:5601 \
--link elasticsearch:elasticsearch \
-e ELASTICSEARCH_URL=
http://elasticsearch:9200\
--name kibana kibana*
啟動nginx容器來生産日志
*docker run -d -p 90:80 --log-driver syslog --log-opt \
syslog-address=tcp://localhost:514 \
--log-opt tag="nginx" --name nginx nginx*
很明顯Docker容器中的Nginx應用日志轉發到本地syslog服務中,然後由syslog服務将資料轉給Logstash進行收集。
至此,日志中心搭建完畢,目前一共四個容器在工作:
實驗驗證
- 浏覽器打開 localhost:90 來打開Nginx界面,并重新整理幾次,讓背景産生GET請求的日志
- 打開 Kibana 可視化界面:localhost:5601
- 收集 Nginx 應用日志
- 查詢應用日志
在查詢框中輸入program=nginx可查詢出特定日志
原文釋出時間為:2018-07-30
本文作者:王帥
本文來自雲栖社群合作夥伴“
高效運維”,了解相關資訊可以關注“
”