天天看點

利用 ELK 搭建 Docker 容器化應用日志中心概述鏡像準備開啟Linux系統Rsyslog服務部署ElasticSearch服務部署Logstash服務部署Kibana服務啟動nginx容器來生産日志實驗驗證

概述

應用一旦容器化以後,需要考慮的就是如何采集位于 Docker 容器中的應用程式的列印日志供運維分析。典型的比如SpringBoot應用的日志收集。

本文即将闡述如何利用ELK日志中心來收集容器化應用程式所産生的日志,并且可以用可視化的方式對日志進行查詢與分析,其架構如下圖所示:

利用 ELK 搭建 Docker 容器化應用日志中心概述鏡像準備開啟Linux系統Rsyslog服務部署ElasticSearch服務部署Logstash服務部署Kibana服務啟動nginx容器來生産日志實驗驗證

架構圖

鏡像準備

利用 ELK 搭建 Docker 容器化應用日志中心概述鏡像準備開啟Linux系統Rsyslog服務部署ElasticSearch服務部署Logstash服務部署Kibana服務啟動nginx容器來生産日志實驗驗證
  • ElasticSearch鏡像
  • Logstash鏡像
  • Kibana鏡像
  • Nginx鏡像(作為容器化應用來生産日志)

開啟Linux系統Rsyslog服務

修改Rsyslog服務配置檔案:

vim /etc/rsyslog.conf

開啟下面三個參數:

$ModLoad imtcp

$InputTCPServerRun 514

@@localhost:4560

利用 ELK 搭建 Docker 容器化應用日志中心概述鏡像準備開啟Linux系統Rsyslog服務部署ElasticSearch服務部署Logstash服務部署Kibana服務啟動nginx容器來生産日志實驗驗證

開啟3個參數

意圖很簡單:讓Rsyslog加載imtcp子產品并監聽514端口,然後将Rsyslog中收集的資料轉發到本地4560端口!

然後重新開機Rsyslog服務:

systemctl restart rsyslog

檢視rsyslog啟動狀态:

netstat -tnl

利用 ELK 搭建 Docker 容器化應用日志中心概述鏡像準備開啟Linux系統Rsyslog服務部署ElasticSearch服務部署Logstash服務部署Kibana服務啟動nginx容器來生産日志實驗驗證

部署ElasticSearch服務

*docker run -d -p 9200:9200 \

-v ~/elasticsearch/data:/usr/share/elasticsearch/data \

--name elasticsearch elasticsearch*

利用 ELK 搭建 Docker 容器化應用日志中心概述鏡像準備開啟Linux系統Rsyslog服務部署ElasticSearch服務部署Logstash服務部署Kibana服務啟動nginx容器來生産日志實驗驗證

部署Logstash服務

添加 ~/logstash/logstash.conf 配置檔案如下:

input {
  syslog {
    type => "rsyslog"
    port => 4560
  }
}

output {
  elasticsearch {
    hosts => [ "elasticsearch:9200" ]
  }
}
           

配置中我們讓Logstash從本地的Rsyslog服務中取出應用日志資料,然後轉發到ElasticSearch資料庫中!

配置完成以後,可以通過如下指令來啟動Logstash容器:

docker run -d -p 4560:4560 \
-v ~/logstash/logstash.conf:/etc/logstash.conf \
--link elasticsearch:elasticsearch \
--name logstash logstash \
logstash -f /etc/logstash.conf
           

部署Kibana服務

*docker run -d -p 5601:5601 \

--link elasticsearch:elasticsearch \

-e ELASTICSEARCH_URL=

http://elasticsearch:9200

\

--name kibana kibana*

利用 ELK 搭建 Docker 容器化應用日志中心概述鏡像準備開啟Linux系統Rsyslog服務部署ElasticSearch服務部署Logstash服務部署Kibana服務啟動nginx容器來生産日志實驗驗證

啟動nginx容器來生産日志

*docker run -d -p 90:80 --log-driver syslog --log-opt \

syslog-address=tcp://localhost:514 \

--log-opt tag="nginx" --name nginx nginx*

很明顯Docker容器中的Nginx應用日志轉發到本地syslog服務中,然後由syslog服務将資料轉給Logstash進行收集。

至此,日志中心搭建完畢,目前一共四個容器在工作:

利用 ELK 搭建 Docker 容器化應用日志中心概述鏡像準備開啟Linux系統Rsyslog服務部署ElasticSearch服務部署Logstash服務部署Kibana服務啟動nginx容器來生産日志實驗驗證

實驗驗證

  • 浏覽器打開 localhost:90 來打開Nginx界面,并重新整理幾次,讓背景産生GET請求的日志
  • 打開 Kibana 可視化界面:localhost:5601
利用 ELK 搭建 Docker 容器化應用日志中心概述鏡像準備開啟Linux系統Rsyslog服務部署ElasticSearch服務部署Logstash服務部署Kibana服務啟動nginx容器來生産日志實驗驗證
  • 收集 Nginx 應用日志
利用 ELK 搭建 Docker 容器化應用日志中心概述鏡像準備開啟Linux系統Rsyslog服務部署ElasticSearch服務部署Logstash服務部署Kibana服務啟動nginx容器來生産日志實驗驗證
  • 查詢應用日志

在查詢框中輸入program=nginx可查詢出特定日志

利用 ELK 搭建 Docker 容器化應用日志中心概述鏡像準備開啟Linux系統Rsyslog服務部署ElasticSearch服務部署Logstash服務部署Kibana服務啟動nginx容器來生産日志實驗驗證

原文釋出時間為:2018-07-30

本文作者:王帥

本文來自雲栖社群合作夥伴“

高效運維

”,了解相關資訊可以關注“

繼續閱讀