日志服務-分隔符模式配置Nginx日志采集

日志服務支援通過資料接入向導配置采集Nginx日志，并自動建立索引和Nginx日志儀表盤，幫助您快速采集并分析Nginx日志。

參考：

https://help.aliyun.com/document_detail/28988.html https://help.aliyun.com/document_detail/56728.html 下面介紹另一種方式，用分隔符模式采集Nginx日志。

背景資訊

使用nginx log_format配置采集，會根據log_format生成正則，因為一些特殊字段，生成的正則可能會和原始日志不比對，而用分隔符模式采集就會避免這個問題。

安裝Nginx

相關指令

sudo yum install nginx

檢視Nginx版本

nginx -v

設定Nginx開機啟動

sudo systemctl enable nginx

啟動Nginx

sudo systemctl start nginx

重新開機Nginx

sudo systemctl restart nginx

檢查Nginx運作狀态

sudo systemctl status nginx

編輯配置檔案

vim /etc/nginx/nginx.conf

日志路徑

/var/log/nginx/access.log

用分隔符配置log_format

這個裡分隔符設定為|#|

log_format main  '$remote_addr|#|$remote_user|#|$time_local|#|$request|#|'
                '$request_time|#|$request_length|#|'
                '$status|#|$body_bytes_sent|#|$http_referer|#|'
                '$http_user_agent';           

nginx.conf配置截圖

日志樣例

127.0.0.1|#|-|#|13/Apr/2020:09:44:41 +0800|#|GET /1 HTTP/1.1|#|0.000|#|74|#|404|#|3650|#|-|#|curl/7.29.0           

配置日志采集

1. 登入

日志服務控制台

。

2. 選擇資料源類型

采集分隔符日志請選擇分隔符-文本日志。

3. 選擇日志空間

請選擇Project和Logstore，您也可以直接單擊立即建立建立Project和Logstore。具體步驟請參見

準備流程

如果您是通過日志庫下的資料接入後的加号進入采集配置流程，系統會直接跳過該步驟。

4. 建立機器組

在建立機器組之前，您需要首先确認已經安裝了Logtail。

• ECS機器： Linux系統勾選執行個體後單擊安裝進行一鍵式安裝。Windows系統不支援一鍵式安裝，請參見 安裝Logtail（Windows系統） 手動安裝。
• 自建（非ECS）機器：請根據界面提示進行安裝。或者請參見 安裝Logtail（Linux系統） 或 進行安裝。

5. 安裝完Logtail後單擊确認安裝完畢建立機器組

具體請參見

簡介

。如果您之前已經建立好機器組 ，請直接單擊使用現有機器組。

6. 機器組配置

選擇一個機器組，将該機器組從源機器組移動到應用機器組。

7. Logtail配置

将上文的日志樣例粘貼到下圖的對應位置中，分隔符選擇自定義，設定為|#|，在key上依次填入字段名，點選儲存。

分隔符詳細配置參考：

https://help.aliyun.com/document_detail/31724.html

8. 查詢分析配置

查詢日志需要開啟索引，點選“開啟索引”，再點選确定，如果預覽可以看到資料，可以點選自動生成索引。

9. 視訊

https://v.youku.com/v_show/id_XNDY2NzkxNzQxMg==.html