Kubernetes日志采集ELK｜部署Logstash日志收集

ELK For Kubernetes

简介

Logstash是一个开源的数据收集引擎，常用于采集、过滤和转发日志数据。它支持多种输入源和输出目的地，并且可以通过插件扩展其功能。在Kubernetes集群中，我们可以使用Logstash来收集容器的日志数据。本文是Kubernetes日志采集ELK系列文章的第二篇，主要介绍如何在Kubernetes集群中部署Logstash进行日志收集。

部署Logstash

在部署Logstash之前，我们需要先准备好以下内容：

• Logstash镜像：我们可以从Docker Hub上拉取最新的Logstash镜像，也可以自己构建一个镜像并上传到镜像仓库中。
• Logstash配置文件：我们需要编写一个Logstash的配置文件，用于定义日志输入源和输出目的地，以及过滤日志数据的规则。

编写Logstash配置文件

下面是一个简单的Logstash配置文件示例，用于收集Kubernetes中所有容器的日志数据，并将它们发送到Elasticsearch中：

vim logstash.conf 
input {
    tcp {
    port => 8888
		mode => "server"
    }
}
filter {
  if [kubernetes][container][name] {
    mutate {
      add_field => { "app" => "%{[kubernetes][container][name]}" }
    }
  }
}
output {
    elasticsearch {
       hosts => ["http://es-cluster-svc:9200"]
       index => "k8s-system-log-%{+YYYY.MM.dd}"
       ecs_compatibility => disabled
    }
    stdout { codec => rubydebug }
}           

这个配置文件包含了三个部分：

• input：定义了输入源，这里我们使用了TCP协议来接收JSON格式的日志数据。Logstash会监听8888端口并等待数据的到来。
• filter：定义了过滤规则，这里我们筛选出了所有Kubernetes容器的日志数据，并添加了一个新的字段“app”来标识容器名称。
• output：定义了输出目的地，这里我们将日志数据发送到Elasticsearch中，并以“k8s-system-log-年月日”作为索引名称。

vim logstash.yml 
http.host: "0.0.0.0"           

logstash.yml是Logstash的主配置文件，它包含了全局设置和默认值

- http.host：HTTP监听器绑定的IP地址。

vim pipelines.yml 
- pipeline.id: testlogs
  path.config: "/usr/share/logstash/pipeline/logstash.conf"           

pipeline.yml是Logstash管道的配置文件，它包含了输入、过滤器和输出的详细设置

创建Logstash应用配置文件

我们可以使用Kubernetes的StatefulSet对象来部署Logstash。下面是一个StatefulSet的示例文件，用于部署一个Logstash实例：

vim logstash-statefulset.yaml
apiVersion: apps/v1
kind: StatefulSet
metadata:
  labels:
    app: logstash
  name: logstash
  namespace: elk
spec:
  serviceName: "logstash"
  replicas: 1
  selector:
    matchLabels:
      app: logstash
  template:
    metadata:
      labels:
        app: logstash
    spec:
      containers:
      - image: 192.168.82.111:80/elk/logstash:8.6.0
        name: logstash
        resources:
          requests:
            memory: "500Mi"
            cpu: "400m"
          limits:
            memory: "800Mi"
            cpu: "800m"
        volumeMounts:
        - name: logstash-yml-config
          mountPath: /usr/share/logstash/config/logstash.yml
          subPath: logstash.yml
        - name: logstash-config
          mountPath: /usr/share/logstash/pipeline/logstash.conf
          subPath: logstash.conf
        - name: pipelines-yml-config
          mountPath: /usr/share/logstash/config/pipelines.yml
          subPath: pipelines.yml
        env:
        - name: TZ
          value: Asia/Shanghai
      volumes:
      - name: logstash-yml-config
        configMap:
          name: logstash-yml-config
      - name: pipelines-yml-config
        configMap:
          name: pipelines-yml-config
      - name: logstash-config
        configMap:
          name: logstash-config           

这个文件包含了一个StatefulSet对象，它会创建一个名为“logstash”的Pod副本。Pod中包含了一个名为“logstash”的容器，使用了Logstash官方提供的镜像，我已经把这个镜像上传到了我的私有仓库内，并挂载了三个的ConfigMap卷。

我们需要在集群中创建三个ConfigMap对象，用于存储Logstash的配置文件。下面是创建ConfigMap对象的示例文件：

kubectl create configmap pipelines-yml-config -n elk --from-file=pipelines.yml
kubectl create configmap logstash-config -n elk --from-file=logstash.conf
kubectl create configmap logstash-yml-config -n elk --from-file=logstash.yml           

configmap

可以看到配置文件已经创建好了

部署Logstash

使用kubectl命令来创建Logstash的StatefulSet

#kubectl apply -f logstash-statefulset.yaml 
statefulset.apps/logstash created           

创建成功后，使用kubectl命令来查看Pod的状态：

kubectl get pods -n elk           

logstash

如果一切正常，你应该会看到一个名为“logstash-0”的Pod处于“Running”状态。

Logstash

Logstash日志显示正常启动

创建Logstash服务

部署好Logstash之后，我们需要暴露Logstash的服务，才能让其他组件访问它，下面介绍一种常见的暴露Logstash服务的方法

通过NodePort方式暴露Logstash服务

vim logstash-service.yaml
apiVersion: v1
kind: Service
metadata:
  labels:
    app: logstash
  name: logstash
  namespace: elk
spec:
  type: NodePort
  ports:
  - name: logstash
    protocol: TCP
    port: 8888
    nodePort: 38888
    targetPort: 8888
  selector:
    app: logstash           

这个文件包含了一个Service对象，它会创建一个名为“logstash”的服务，使用了NodePort方式来暴露服务。Service会将所有符合标签选择器“app: logstash”的Pod都加入到该服务中，将服务端口8888映射到容器端口8888，并将节点端口38888映射到服务端口8888。

可以使用kubectl命令来创建Service对象

kubectl apply -f logstash-service.yaml           

Service

总结

在本文中，我们介绍了如何在Kubernetes集群中部署Logstash进行日志收集，并编写了一个简单的Logstash配置文件。在下一篇文章中，我们将介绍如何将Java项目容器的日志数据发送到Logstash中。