ELK簡單部署以及使用

簡介

• 此項目是使用filebeat輕量化日志采集工具，将日志采集到kafka，在使用logstash工具将日志采集到Elasticsearch中，使用kibana工具在web界面上進行各種搜尋檢視建立圖示等操作。預設已經裝好了kafka以及Elasticsearch。

下載下傳安裝

• 進入到官網https://www.elastic.co

  • 

• 找到産品

  -

  

• 點選下載下傳

  • 

• 選擇需要下載下傳的工具點選下載下傳

  • 

  • 在past releases中可以選擇其他版本點選下載下傳就可以
• 下載下傳好安裝包以後進行解壓、配置環境變量

修改配置檔案

• filebeat變量配置
  • 首先進入到filebeat解壓後的檔案中

    • cd filebeat-6.4.3-linux-x86_64
                 

  • 修改filebeat.yml中的配置

    • vi filebeat.yml
                 

  • 修改成以下值

    • filebeat.inputs:
      - type: log
      	enabled: true
      	 paths:
          - /data/filebeattest/logs/*.log  //需要采集的日志位址
      output.kafka:
        hosts: ["hadoop110:9092"]   //kafka的位址 如果使用hadoop這種類型的名字需要在本節點上配置 hosts檔案
        topic: 'filelog'   //kafka中的topic
        partition.round_robin:
          reachable_only: false
      
        required_acks: 1
        compression: gzip
        max_message_bytes: 1000000
      
                 

  • 啟動filebeat的指令

    • filebeat -c filebeat.yml
                 

• logstash變量配置
  • 進入到logstash的解壓檔案中

    • cd logstash-6.4.3
                 

  • 建立一個配置檔案的檔案夾conf 并在檔案夾裡建立一個配置檔案kafka-elasticsearch.conf

    • mkdir conf
      cd conf
      touch kafka-elasticsearch.conf
                 

  • 給配置檔案加上配置資訊

    • vi kafka-elasticsearch.conf
      input {
        kafka {
           topics => ["filelog"]
           bootstrap_servers => "hadoop110:9092"
        }
      }
      
      output {
      
          elasticsearch {
             hosts => ["hadoop110:9200"]
          }
      }
      
                 

  • 啟動logstash

    • logstash  -f  conf/kafka-elasticsearch.conf
                 

• 配置kibana
  • 進入到kibana的解壓檔案中

    • cd kibana-6.4.3-linux-x86_64
      
                 

  • 修改一些需要的變量配置

    • cd confog
      vi kibana.yml
      server.port: 5601
      elasticsearch.url: "http://hadoop110:9200"
      根據實際需要修改
      
                 

  • 啟動kibana

    • bin/kibana
      
                 

啟動檢查效果

• 進入到kibana的web界面檢視效果

  • 

  • 看到我們建立的索引已經存在了就說明我們的真個過程已經成功了