logstash采集日志配置檔案

一.采集配置

建立配置檔案,編寫内容

    1.采集目錄的資料

input {
    file {
        type => "my_type"                          類型
        path => "/root/data/1.txt"                 路徑
        discover_interval => 10                    多久檢測一次是否有新資料
        start_position => "beginning"              采集位置(開始位置)
        codec => json {                            資料格式(json格式,可以不選)
           charset => "UTF-8"
        }         
    }
}
           

    2.采集kafka裡面的資料

input {
    kafka {
        codec => "plain"                                             格式為空,預設
        group_id => "group01"                                        組id
        auto_offset_reset => "earliest"                              采集的起始偏移量
        topics  => ["testxp"]                                        采集的topic
        bootstrap_servers => ["mini1:9092,mini2:9092,mini3:9092"]    kafka服務位址
    }

}
           

   3.标準控制台輸入

input{
    stdin{}
}

           

二.存儲配置

    1.标準控制台輸出

output{
    stdout {}
}
           

    2.存儲到kafka中

output {
   kafka {
      topic_id => "accesslog"
      bootstrap_servers => ["mini1:9092,mini2:9092,mini3:9092"]
   }
}
           

    3.存儲到elasticsearch中

output {
   elasticsearch {
     index => "game-%{+YYYY.MM.dd}"                         索引名稱
     hosts => ["mini1:9200","mini2:9200","mini3:9200"]      叢集位址
   }
}
           

三.執行方式

<logstash>:表示logstash的根目錄

<logstash>:  bin/logstash -f  配置檔案路徑