ELK简单部署以及使用

简介

• 此项目是使用filebeat轻量化日志采集工具，将日志采集到kafka，在使用logstash工具将日志采集到Elasticsearch中，使用kibana工具在web界面上进行各种搜索查看建立图标等操作。默认已经装好了kafka以及Elasticsearch。

下载安装

• 进入到官网https://www.elastic.co

  • 

• 找到产品

  -

  

• 点击下载

  • 

• 选择需要下载的工具点击下载

  • 

  • 在past releases中可以选择其他版本点击下载就可以
• 下载好安装包以后进行解压、配置环境变量

修改配置文件

• filebeat变量配置
  • 首先进入到filebeat解压后的文件中

    • cd filebeat-6.4.3-linux-x86_64
                 

  • 修改filebeat.yml中的配置

    • vi filebeat.yml
                 

  • 修改成以下值

    • filebeat.inputs:
      - type: log
      	enabled: true
      	 paths:
          - /data/filebeattest/logs/*.log  //需要采集的日志地址
      output.kafka:
        hosts: ["hadoop110:9092"]   //kafka的地址 如果使用hadoop这种类型的名字需要在本节点上配置 hosts文件
        topic: 'filelog'   //kafka中的topic
        partition.round_robin:
          reachable_only: false
      
        required_acks: 1
        compression: gzip
        max_message_bytes: 1000000
      
                 

  • 启动filebeat的指令

    • filebeat -c filebeat.yml
                 

• logstash变量配置
  • 进入到logstash的解压文件中

    • cd logstash-6.4.3
                 

  • 创建一个配置文件的文件夹conf 并在文件夹里创建一个配置文件kafka-elasticsearch.conf

    • mkdir conf
      cd conf
      touch kafka-elasticsearch.conf
                 

  • 给配置文件加上配置信息

    • vi kafka-elasticsearch.conf
      input {
        kafka {
           topics => ["filelog"]
           bootstrap_servers => "hadoop110:9092"
        }
      }
      
      output {
      
          elasticsearch {
             hosts => ["hadoop110:9200"]
          }
      }
      
                 

  • 启动logstash

    • logstash  -f  conf/kafka-elasticsearch.conf
                 

• 配置kibana
  • 进入到kibana的解压文件中

    • cd kibana-6.4.3-linux-x86_64
      
                 

  • 修改一些需要的变量配置

    • cd confog
      vi kibana.yml
      server.port: 5601
      elasticsearch.url: "http://hadoop110:9200"
      根据实际需要修改
      
                 

  • 启动kibana

    • bin/kibana
      
                 

启动检查效果

• 进入到kibana的web界面查看效果

  • 

  • 看到我们创建的索引已经存在了就说明我们的真个过程已经成功了