雲栖号資訊：【 點選檢視更多行業資訊】
在這裡您可以找到不同行業的第一手的上雲資訊，還在等什麼，快來！
由于nginx功能強大，性能突出，越來越多的web應用采用nginx作為http和反向代理的web伺服器。而nginx的通路日志不管是做使用者行為分析還是安全分析都是非常重要的資料源之一。
如何有效便捷的采集nginx的日志進行有效的分析成為大家關注的問題。本文通過幾個執行個體來介紹如何通過filebeat、logstash、rsyslog采集nginx的通路日志和錯誤日志。
大家都知道ELK技術棧是采集、分析日志的利器。是以這裡介紹的是從nginx采集日志到ES。當然至于日志采集以後存到看大家的需要。通過logstash可以友善的配置日志輸出存儲的方式。
一般來說nginx預設安裝後，日志檔案在 /usr/local/nginx/logs 目錄下。分别有 access.log和error.log 通路日志和錯誤日志。
這次示例Elasitcsearch是三個節點組成的叢集172.28.65.22、172.28.65.23、172.28.65.24，172.28.65.30 是kibana的位址，172.28.65.32是資料采集伺服器，上面裝有logstash、nginx、 filebeat。一般來說采集伺服器上有logstash，而nginx、 filebeat應該是裝在采集目标上。
一、直接通過filebeat采集日志到ES
在filebeat的安裝目錄找到filebeat.yml 配置擷取日志檔案的路徑及輸出到ES的配置。
具體：
- type: log
# Change to true to enable this input configuration.
enabled: true
# Paths that should be crawled and fetched. Glob based paths.
paths:
#- /var/log/*.log
- /usr/local/nginx/logs/*.log
#- c:\programdata\elasticsearch\logs\* 
啟動filebeat 進行日志資料采集
./filebeat -e -c filebeat.yml -d "publish" 通過elasticsearch-head插件檢視es索引中的日志資訊
這種直接通過filebeat直接對接ES采日志的方式簡單直接，但是無法對采集的日志進行預處理和其他一些操作，也不夠靈活。
可以在filebeat 和 ES之間加一層Logstash，可以将filebeat于ES解耦，通過Logstash可以做一些預處理，也可以通過Logstash采集到除ES以外的其他資料存儲上。
二、通過filebeat采集日志到logstash再送到ES
首先得安裝 logstash ，安裝完後在logstash的安裝目錄下建立vi filebeat-pipeline.conf
filebeat-pipeline.conf的具體配置如下：
input {
beats {
port => "5044"
}
}
output {
elasticsearch { hosts => ["172.28.65.24:9200"] }
stdout { codec => rubydebug}
} input配置表示通過5044端口接收beats的資料
output配置表示輸出到elasticsearch，并且同時輸出到标準輸出也就是控制台。
然後通過指令
bin/logstash -f filebeat-pipeline.conf --config.reload.automatic 應用filebeat-pipeline.conf啟動logstash。
啟動以後可以看到logstash的啟動日志5044端口的服務已經起了，可以接受通過filebeat通過5044端口傳過來的資料了。
接下來配置filebeat
在filebeat的安裝目錄找到filebeat.yml 配置擷取日志檔案的路徑及輸出到logstash的配置。不直接輸出到ES了。
具體配置如下：
将output.elasticsearch的配置屏蔽
配置output.logstash，配置正确的logstash的服務主機和端口
./filebeat -e -c filebeat.yml -d "publish" 我們通路nginx服務提供的web服務
http://172.28.65.32/在logstash的控制台 可以看到相應的通路access.log 日志
同時在ES 中也可以看到有相應的日志資料
三、直接通過rsyslog采集日志到logstash在送到ES
在很多情況下你需要采集的web伺服器并不是自己能夠控制的，不是說你想裝filebeat就可以讓你裝的，這時候就可以要求目标資料源通過 syslog 的方式将日志發出來。我們可以再通過 logstash送到ES或其他的日志存儲處理平台。
通過syslog往日志伺服器上發nginx的日志有兩種方式，一種就是利用nginx的配置往外發日志，一種就是通過配置linux的rsyslog的配置往外發日志。
1、通過nginx配置發送syslog到logstash
參考見nginx官方文檔：
http://nginx.org/en/docs/syslog.html在nginx的配置檔案nginx.conf中
在server下配置access_log和error_log的輸出方式
access_log syslog:server=172.28.65.32:514,facility=local7,tag=nginx_access_log,severity=info;
error_log syslog:server=172.28.65.32:514,facility=local7,tag=nginx_error_log,severity=info; 配置完成後執行 ./nginx -s reload 使配置生效。這樣就通過linux的rsyslog服務将
nginx的日志往外發了。
接着來配置logstash的syslog的服務接收配置 。在logstash的安裝目錄下建立
vi syslog-pipeline.conf
syslog-pipeline.conf的具體配置如下：
input {
syslog{
type => "system-syslog"
port => 514
}
}
output {
elasticsearch {
hosts => ["172.28.65.24:9200"]
index => "system-syslog-%{+YYYY.MM}"
}
stdout { codec => rubydebug}
} input配置表示通過514端口接收syslog的資料
通過執行 bin/logstash -f syslog-pipeline.conf --config.reload.automatic 啟動logstash
同樣通過Elasticsearch-head在ES 中也可以看到有相應的日志資料
2、通過配置rsyslog發送syslog日志到logstash
有些老版本的nginx不支援配置syslog輸出日志，或者說我想輸出其他不是nginx的日志該怎麼辦呢？可以通過直接配置rsyslog的方式來往外發送日志。
在/etc/rsyslog.conf 中配置
$IncludeConfig /etc/rsyslog.d/*.conf 意思是可以引用外部的配置檔案，引用外部的配置檔案一方面可以不影響主配置檔案，另一方面也比較好管理
在/etc/rsyslog.d目錄下建立nginx-log.conf
配置如下：
$ModLoad imfile
$InputFilePollInterval 1
$WorkDirectory /var/spool/rsyslog
$PrivDropToGroup adm
##Nginx通路日志檔案路徑，根據實際情況修改:
$InputFileName /usr/local/nginx/logs/access.log
$InputFileTag nginx-access:
$InputFileStateFile stat-nginx-access
$InputFileSeverity info
$InputFilePersistStateInterval 25000
$InputRunFileMonitor
##Nginx錯誤日志檔案路徑，根據實際情況修改:
$InputFileName /usr/local/nginx/logs/error.log
$InputFileTag nginx-error:
$InputFileStateFile stat-nginx-error
$InputFileSeverity error
$InputFilePersistStateInterval 25000
$InputRunFileMonitor
*.* @172.28.65:514 配置好了以後，重新開機rsyslog服務
systemctl restart rsyslog 在logstash的控制台 可以看到同樣的效果。
本文介紹了如何通過filebeat、logstash、rsyslog采集nginx的通路日志和錯誤日志的幾種方式，具體需要根據實際情況靈活的運用。
【雲栖号線上課堂】每天都有産品技術專家分享！
課程位址：
https://yqh.aliyun.com/zhibo立即加入社群，與專家面對面，及時了解課程最新動态！
【雲栖号線上課堂 社群】
https://c.tb.cn/F3.Z8gvnK
原文釋出時間：2020-06-01
本文作者： 網際網路架構師
本文來自：“
網際網路架構師 微信公衆号”，了解相關資訊可以關注“
網際網路架構師”