天天看點
傳回

ELK知識點總結緩存、線程等優化如下

1、編碼轉換問題

這個問題，主要就是中文亂碼。

input中的codec=>plain轉碼：

codec => plain {

charset => "GB2312"

}

将GB2312的文本編碼，轉為UTF-8的編碼。

也可以在filebeat中實作編碼的轉換（推薦）：

filebeat.prospectors:

  • input_type: log

    paths:

    • c:UsersAdministratorDesktopperformanceTrace.txt

      encoding: GB2312

2、删除多餘日志中的多餘行

logstash filter中drop删除：

if ([message] =~ "^20.- task request,.,start time.*") { #用正則需删除的多餘行

drop {}
}

日志示例：

2018-03-20 10:44:01,523 [33]DEBUG Debug - task request,task Id:1cbb72f1-a5ea-4e73-957c-6d20e9e12a7a,start time:2018-03-20 10:43:59 #需删除的行

-- Request String :

{"UserName":"15046699923","Pwd":"ZYjyh727","DeviceType":2,"DeviceId":"PC-20170525SADY","EquipmentNo":null,"SSID":"pc","RegisterPhones":null,"AppKey":"ab09d78e3b2c40b789ddfc81674bc24deac","Version":"2.0.5.3"} -- End

-- Response String :

{"ErrorCode":0,"Success":true,"ErrorMsg":null,"Result":null,"WaitInterval":30} -- End

3、grok處理多種日志不同的行

2018-03-20 10:44:01,523 [33]DEBUG Debug - task request,task Id:1cbb72f1-a5ea-4e73-957c-6d20e9e12a7a,start time:2018-03-20 10:43:59

在logstash filter中grok分别處理3行：

match => {

"message" => "^20.*-\ task\ request,.*,start\ time\:%{TIMESTAMP_ISO8601:RequestTime}"           
"message" => "^--\ Request\ String\ :\ \{\"UserName\":\"%{NUMBER:UserName:int}\",\"Pwd\":\"(?<Pwd>.*)\",\"DeviceType\":%{NUMBER:DeviceType:int},\"DeviceId\":\"(?<DeviceId>.*)\",\"EquipmentNo\":(?<EquipmentNo>.*),\"SSID\":(?<SSID>.*),\"RegisterPhones\":(?<RegisterPhones>.*),\"AppKey\":\"(?<AppKey>.*)\",\"Version\":\"(?<Version>.*)\"\}\ --\ \End.*"               
"message" => "^--\ Response\ String\ :\ \{\"ErrorCode\":%{NUMBER:ErrorCode:int},\"Success\":(?<Success>[a-z]*),\"ErrorMsg\":(?<ErrorMsg>.*),\"Result\":(?<Result>.*),\"WaitInterval\":%{NUMBER:WaitInterval:int}\}\ --\ \End.*"

... 等多行

4、日志多行合并處理—multiline插件（重點）

示例：

①日志

②logstash grok對合并後多行的處理。合并多行後續都一樣，如下：

filter {

　　grok {

　　　　match => {

　　　　　　"message" => "^%{TIMESTAMP_ISO8601:InsertTime} .- task request,.,start time:%{TIMESTAMP_ISO8601:RequestTime}n-- Request String : {"UserName":"%{NUMBER:UserName:int}","Pwd":"(?.)","DeviceType":%{NUMBER:DeviceType:int},"DeviceId":"(?.)","EquipmentNo":(?.),"SSID":(?.),"RegisterPhones":(?.),"AppKey":"(?.)","Version":"(?.)"} -- Endn-- Response String : {"ErrorCode":%{NUMBER:ErrorCode:int},"Success":(?[a-z]),"ErrorMsg":(?.),"Result":(?.),"WaitInterval":%{NUMBER:WaitInterval:int}} -- End"

　　　　}

　　}

在filebeat中使用multiline插件（推薦）：

①介紹multiline

pattern：正則比對從哪行合并；

negate：true/false，比對到pattern 部分開始合并，還是不配到的合并。

match：after/before（需自己了解）

after：比對到pattern 部分後合并，注意：這種情況最後一行日志不會被比對處理；

before：比對到pattern 部分前合并（推薦）。

②5.5版本之後（before為例）

    • /root/performanceTrace*

      fields:

    type: zidonghualog

    multiline.pattern: '."WaitInterval":.-- End'

multiline.negate: true

multiline.match: before

③5.5版本之前（after為例）

  • paths:
    multiline: 
    pattern: '^20.*'
 negate: true
 match: after

在logstash input中使用multiline插件（沒有filebeat時推薦）：

what：previous/next（需自己了解）

previous：相當于filebeat 的after；

next：相當于filebeat 的before。

②用法

input {

file {
            path => ["/root/logs/log2"]
            start_position => "beginning"
            codec => multiline {
                    pattern => "^20.*"
                    negate => true
                    what => "previous"
            }
    }

在logstash filter中使用multiline插件（不推薦）：

不推薦的原因：

filter設定multiline後，pipline worker會自動降為1；

5.5 版本官方把multiline 去除了，要使用的話需下載下傳，下載下傳指令如下：

/usr/share/logstash/bin/logstash-plugin install logstash-filter-multiline

multiline {

pattern => "^20.*"
negate => true
what => "previous"

}

5、logstash filter中的date使用

2018-03-20 10:44:01 [33]DEBUG Debug - task request,task Id:1cbb72f1-a5ea-4e73-957c-6d20e9e12a7a,start time:2018-03-20 10:43:59

date使用：

date {

match => ["InsertTime","YYYY-MM-dd HH:mm:ss "]
            remove_field => "InsertTime"
    }

注：match => ["timestamp" ,"dd/MMM/YYYY H:m:s Z"]

比對這個字段，字段的格式為：日日/月月月/年年年年 時/分/秒 時區，也可以寫為：match => ["timestamp","ISO8601"]（推薦）

date介紹：

就是将比對日志中時間的key替換為@timestamp的時間，因為@timestamp的時間是日志送到logstash的時間，并不是日志中真正的時間。

6、對多類日志分類處理（重點）

在filebeat的配置中添加type分類：

filebeat:

prospectors:

-
  paths:
    #- /mnt/data/WebApiDebugLog.txt*
    - /mnt/data_total/WebApiDebugLog.txt*
  fields:
    type: WebApiDebugLog_total
-
  paths:
    - /mnt/data_request/WebApiDebugLog.txt*
    #- /mnt/data/WebApiDebugLog.txt*
  fields:
    type: WebApiDebugLog_request
-
  paths:
    - /mnt/data_report/WebApiDebugLog.txt*
    #- /mnt/data/WebApiDebugLog.txt*
  fields:
    type: WebApiDebugLog_report

在logstash filter中使用if，可進行對不同類進行不同處理：

if fields == "WebApiDebugLog_request" { #對request 類日志

if ([message] =~ "^20.*-\ task\ report,.*,start\ time.*") {   #删除report 行
            drop {}
    }
grok {
    match => {"... ..."}
    }

在logstash output中使用if：

if fields == "WebApiDebugLog_total" {

elasticsearch {
    hosts => ["6.6.6.6:9200"]
    index => "logstashl-WebApiDebugLog_total-%{+YYYY.MM.dd}"
    document_type => "WebApiDebugLog_total_logs"

二、對ELK整體性能的優化

1、性能分析

伺服器硬體Linux：1cpu4GRAM

假設每條日志250Byte。

分析：

①logstash-Linux：1cpu 4GRAM

每秒500條日志；

去掉ruby每秒660條日志；

去掉grok後每秒1000條資料。

②filebeat-Linux：1cpu 4GRAM

每秒2500-3500條資料；

每天每台機器可處理：24h60min60sec 3000250Byte=64,800,000,000Bytes，約64G。

③瓶頸在logstash從Redis中取資料存入ES，開啟一個logstash，每秒約處理6000條資料；開啟兩個logstash，每秒約處理10000條資料（cpu已基本跑滿）；

④logstash的啟動過程占用大量系統資源，因為腳本中要檢查java、ruby以及其他環境變量，啟動後資源占用會恢複到正常狀态。

2、關于收集日志的選擇：logstash/filter

沒有原則要求使用filebeat或logstash，兩者作為shipper的功能是一樣的。

差別在于：

logstash由于內建了衆多插件，如grok、ruby，是以相比beat是重量級的；

logstash啟動後占用資源更多，如果硬體資源足夠則無需考慮二者差異；

logstash基于JVM，支援跨平台；而beat使用golang編寫，AIX不支援；

AIX 64bit平台上需要安裝jdk（jre） 1.7 32bit，64bit的不支援；

filebeat可以直接輸入到ES，但是系統中存在logstash直接輸入到ES的情況，這将造成不同的索引類型造成檢索複雜，最好統一輸入到els 的源。

總結：

logstash/filter總之各有千秋，但是我推薦選擇：在每個需要收集的日志伺服器上配置filebeat，因為輕量級，用于收集日志；再統一輸出給logstash，做對日志的處理；最後統一由logstash輸出給els。

3、logstash的優化相關配置

可以優化的參數，可根據自己的硬體進行優化配置：

①pipeline線程數，官方建議是等于CPU核心數

預設配置 ---> pipeline.workers: 2；

可優化為 ---> pipeline.workers: CPU核心數（或幾倍CPU核心數）。

②實際output時的線程數

預設配置 ---> pipeline.output.workers: 1；

可優化為 ---> pipeline.output.workers: 不超過pipeline線程數。

③每次發送的事件數

預設配置 ---> pipeline.batch.size: 125；

可優化為 ---> pipeline.batch.size: 1000。

④發送延時

預設配置 ---> pipeline.batch.delay: 5；

可優化為 ---> pipeline.batch.size: 10。

通過設定-w參數指定pipeline worker數量，也可直接修改配置檔案logstash.yml。這會提高filter和output的線程數，如果需要的話，将其設定為cpu核心數的幾倍是安全的，線程在I/O上是空閑的。

預設每個輸出在一個pipeline worker線程上活動，可以在輸出output中設定workers設定，不要将該值設定大于pipeline worker數。

還可以設定輸出的batch_size數，例如ES輸出與batch size一緻。

filter設定multiline後，pipline worker會自動将為1，如果使用filebeat，建議在beat中就使用multiline，如果使用logstash作為shipper，建議在input中設定multiline，不要在filter中設定multiline。

Logstash中的JVM配置檔案：

Logstash是一個基于Java開發的程式，需要運作在JVM中，可以通過配置jvm.options來針對JVM進行設定。比如記憶體的最大最小、垃圾清理機制等等。JVM的記憶體配置設定不能太大不能太小，太大會拖慢作業系統。太小導緻無法啟動。預設如下：

Xms256m#最小使用記憶體；

Xmx1g#最大使用記憶體。

4、引入Redis的相關問題

filebeat可以直接輸入到logstash（indexer），但logstash沒有存儲功能，如果需要重新開機需要先停所有連入的beat，再停logstash，造成運維麻煩；另外如果logstash發生異常則會丢失資料；引入Redis作為資料緩沖池，當logstash異常停止後可以從Redis的用戶端看到資料緩存在Redis中；

Redis可以使用list(最長支援4,294,967,295條)或釋出訂閱存儲模式；

Redis做ELK緩沖隊列的優化：

bind 0.0.0.0 #不要監聽本地端口；

requirepass ilinux.io #加密碼，為了安全運作；

隻做隊列，沒必要持久存儲，把所有持久化功能關掉：

快照（RDB檔案）和追加式檔案（AOF檔案），性能更好；

save "" 禁用快照；

appendonly no 關閉RDB。

把記憶體的淘汰政策關掉，把記憶體空間最大

maxmemory 0 #maxmemory為0的時候表示我們對Redis的記憶體使用沒有限制。

5、Elasticsearch節點優化配置

伺服器硬體配置，OS參數：

1）/etc/sysctl.conf 配置

vim /etc/sysctl.conf

① vm.swappiness = 1 #ES 推薦将此參數設定為 1，大幅降低 swap 分區的大小，強制最大程度的使用記憶體，注意，這裡不要設定為 0, 這會很可能會造成 OOM

② net.core.somaxconn = 65535 #定義了每個端口最大的監聽隊列的長度

③ vm.max_map_count= 262144 #限制一個程序可以擁有的VMA(虛拟記憶體區域)的數量。虛拟記憶體區域是一個連續的虛拟位址空間區域。當VMA 的數量超過這個值，OOM

④ fs.file-max = 518144 #設定 Linux 核心配置設定的檔案句柄的最大數量

[root@elasticsearch]# sysctl -p生效一下。

2）limits.conf 配置

vim /etc/security/limits.conf

elasticsearch soft nofile 65535

elasticsearch hard nofile 65535

elasticsearch soft memlock unlimited

elasticsearch hard memlock unlimited

3）為了使以上參數永久生效，還要設定兩個地方：

vim /etc/pam.d/common-session-noninteractive

vim /etc/pam.d/common-session

添加如下屬性：

session required pam_limits.so

可能需重新開機後生效。

Elasticsearch中的JVM配置檔案

-Xms2g

-Xmx2g

将最小堆大小（Xms）和最大堆大小（Xmx）設定為彼此相等。

Elasticsearch可用的堆越多，可用于緩存的記憶體就越多。但請注意，太多的堆可能會使您長時間垃圾收集暫停。

設定Xmx為不超過實體RAM的50％，以確定有足夠的實體記憶體留給核心檔案系統緩存。

不要設定Xmx為JVM用于壓縮對象指針的臨界值以上；确切的截止值有所不同，但接近32 GB。不要超過32G，如果空間大，多跑幾個執行個體，不要讓一個執行個體太大記憶體。

Elasticsearch配置檔案優化參數：

1）vim elasticsearch.yml

bootstrap.memory_lock: true #鎖住記憶體，不使用swap

緩存、線程等優化如下

bootstrap.mlockall: true

transport.tcp.compress: true

indices.fielddata.cache.size: 40%

indices.cache.filter.size: 30%

indices.cache.filter.terms.size: 1024mb

threadpool:

search:
    type: cached
    size: 100
    queue_size: 2000

2）設定環境變量

vim /etc/profile.d/elasticsearch.sh export ES_HE AP _SIZE=2g #Heap Size不超過實體記憶體的一半，且小于32G。

叢集的優化（我未使用叢集）：

ES是分布式存儲，當設定同樣的cluster.name後會自動發現并加入叢集；

叢集會自動選舉一個master，當master當機後重新選舉；

為防止"腦裂"，叢集中個數最好為奇數個；

為有效管理節點，可關閉廣播discovery. zen.ping.multicast.enabled: false，并設定單點傳播節點組discovery.zen.ping.unicast.hosts: ["ip1", "ip2", "ip3"]。

6、性能的檢查

檢查輸入和輸出的性能：

Logstash和其連接配接的服務運作速度一緻，它可以和輸入、輸出的速度一樣快。

檢查系統參數：

1）CPU

注意CPU是否過載。在Linux/Unix系統中可以使用top-H檢視程序參數以及總計。

如果CPU使用過高，直接跳到檢查JVM堆的章節并檢查Logstash worker設定。

2）Memory

注意Logstash是運作在Java虛拟機中的，是以它隻會用到你配置設定給它的最大記憶體。

檢查其他應用使用大量記憶體的情況，這将造成Logstash使用硬碟swap，這種情況會在應用占用記憶體超出實體記憶體範圍時。

3）I/O監控磁盤I/O檢查磁盤飽和度

使用Logstash plugin（例如使用檔案輸出）磁盤會發生飽和。

當發生大量錯誤，Logstash生成大量錯誤日志時磁盤也會發生飽和。

在Linux中，可使用iostat，dstat或者其他指令監控磁盤I/O。

4）監控網絡I/O

當使用大量網絡操作的input、output時，會導緻網絡飽和。

在Linux中可使用dstat或iftop監控網絡情況。

檢查JVM heap：

heap設定太小會導緻CPU使用率過高，這是因為JVM的垃圾回收機制導緻的。

一個快速檢查該設定的方法是将heap設定為兩倍大小然後檢測性能改進。不要将heap設定超過實體記憶體大小，保留至少1G記憶體給作業系統和其他程序。

你可以使用類似jmap指令行或VisualVM更加精确的計算JVM heap。

存儲 編解碼 緩存 監控 NoSQL java Linux Redis 開發工具 ruby java編碼存儲 java開發存儲 使用java開發存儲 項目java開發存儲 使用java存儲
上一篇: 新手如何選擇阿裡雲伺服器配置
下一篇: 解決谷歌浏覽器不能安裝flash插件

繼續閱讀