SIEM之基于Splunk的日志监控

0x0 概述

Splunk是什么？

Splunk

是一个功能强大的机器数据分析平台，包括机器数据的收集、索引、搜索、监控、可视化和告警等。另一方面来说，

Splunk

是一个时间序列索引器，因为

Splunk

索引数据的时候，是基于数据时间戳把数据拆分成事件。

Splunk

支持从任何IT设备和应用（服务器、路由交换、应用程序、数据库等）收集日志，支持对日志进行高效搜索、索引和可视化。可应用于：IT运营、安全合规、商业分析等。

Splunk功能概述

• 数据获取：

  Splunk

  支持各种格式(如XML、JSON)和非结构化机器数据的获取。
• 数据索引：

  Splunk

  会自动索引从各方获取的数据，以便在各种条件下进行搜索
• 数据搜索：

  Splunk

  中的搜索包括在仪表板上创建指标或索引的模式。
• Dashboards：以透视表、图表、报告等形式展示搜索结果
• 告警：用于在分析数据中发现的某些异常活动时触发邮件或其他方式的告警推送。
• Splunk 的三大组件：
  • Splunk 转发器：用于收集日志的组件，将日志数据转发给

    Splunk

    索引器进行处理和存储。
  • Splunk 索引器：用来索引和存储转发器中的数据，将传入的数据转换为事件，并将其存储在索引中，以便高效地执行搜索操作。
  • Splunk 搜索头：用于与

    Splunk

    交互的组件。为用户提供了一个图形用户界面来执行各种操作。用户可以通过输入搜索词来搜索和查询索引器中存储的数据。

0x1 Splunk的安装配置（以

Ubuntu

为例）

配置要求：

• Ubuntu 20.04 以上系统版本
• 4G或以上内存
• 2核或以上CPU

Splunk企业版下载安装

Splunk企业版提供试用安装版，我们可以去官网下载：

https://www.splunk.com/zh-hans_cn/software/splunk-enterprise.html      

创建一个帐号并选择相应的版本进行下载：

这里我们选择

.deb

版本。

然后在系统上安装：

[email protected]:/tmp# dpkg -i splunk-8.2.2-87344edfcdb4-linux-2.6-amd64.deb Selecting previously unselected package splunk.(Reading database ... 148598 files and directories currently installed.)Preparing to unpack splunk-8.2.2-87344edfcdb4-linux-2.6-amd64.deb ...Unpacking splunk (8.2.2) ...      

安装完成后，默认位于

/opt/splunk/

目录：

初始化

Splunk

设置

[email protected]:/tmp# cd /opt/splunk/[email protected]:/opt/splunk# ./bin/splunk enable boot-startSPLUNK GENERAL TERMS      

按空格浏览软件协议，按

y

键同意协议内容。

按空格浏览软件协议，按

y

键同意协议内容。

然后创建

Splunk

管理员用户和密码：

启动

splunk

服务：

[email protected]:/opt/splunk# systemctl start [email protected]:/opt/splunk#      

没有报错，说明启动成功。现在可以在浏览器中使用

http://serverip:8000

访问

Splunk

的

Web UI

输入设置的用户名和密码登录到

Web UI

页面：

至此，

Splunk

安装已经完成，下一步就是添加数据

输入设置的用户名和密码登录到

Web UI

页面：

至此，

Splunk

安装已经完成，下一步就是添加数据

输入设置的用户名和密码登录到

Web UI

页面：

至此，

Splunk

安装已经完成，下一步就是添加数据

输入设置的用户名和密码登录到

Web UI

页面：

至此，

Splunk

安装已经完成，下一步就是添加数据

输入设置的用户名和密码登录到

Web UI

页面：

至此，

Splunk

安装已经完成，下一步就是添加数据

输入设置的用户名和密码登录到

Web UI

页面：

至此，

Splunk

安装已经完成，下一步就是添加数据

输入设置的用户名和密码登录到

Web UI

页面：

至此，

Splunk

安装已经完成，下一步就是添加数据

0x3 Splunk数据的获取

点击

Web UI

中的“添加数据”，进入数据添加引导流程，

Splunk

提供多种添加数据的方式：

这里我们要添加主机的日志文件进行监控，所以选择“监视-此Splunk平台实例上的文件或端口”：

选择“文件和目录”，点击右侧的浏览

选择日志目录，然后确定：

然后点击下一步：

输入的一些设置，可以根据需求进行设置，如果没有问题，就可以点“检查”：

提示成功，点“开始搜索”：

现在已经成功将数据添加到

Splunk

进行索引，可以根据需求搜索和监控日志文件了。

0x4 Splunk添加Windows日志监控

首先从

Splunk

上下载通用转发器：

https://www.splunk.com/zh-hans_cn/download.html      

根据需求进行下载：

在

Windows主机上

安装转发器：

根据需求选择要采集的数据：

根据提示填写必要信息，然后安装

回到

Splunk

的

Web UI

界面，点击右侧的“设置”-->“转发和接收”：

新增一个接收设置：

配置接收端口，然后保存：

回到搜索中，就可以搜索

Windows

的日志了：

0x5 Splunk添加仪表板

在搜索结果的右侧点击“另存为”，可以创建仪表板或者报表、告警。

根据需求填写信息和选项，然后点保存：

这样一个仪表板就创建好了：

更多搜索示例可以参考官方文档：https://docs.splunk.com/Documentation/SCS/current/SearchReference/SearchCommandExamples

更多仪表板的创建和说明可以参考官方文档：https://docs.splunk.com/Documentation/Splunk/8.2.2/Viz/BuildandeditdashboardswithSimplifiedXML#Dashboard_examples

推荐阅读

2020网络安全行业全领域白皮书大全

2020年网络安全应急响应分析报告

网络安全人才发展浅谈