天天看点

《Splunk智能运维实战》——第1章 游戏时间——导入数据 1.1 简介

本节书摘来自华章计算机《splunk智能运维实战》一书中的第1章,第1.1节,作者 [美]乔史·戴昆(josh diakun),保罗r.约翰逊(paul r. johnson),德莱克·默克(derek mock),译 宫鑫,康宁,刘法宗 ,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

加快运维智能的机器数据有很多不同的形式,来源也各不相同。splunk可从多种来源收集并索引数据,其中包括web服务器或商业应用程序创建的日志文件,网络设备生成的系统日志数据,及自定义开发脚本输出的数据。即便数据一开始看上去很复杂,我们也可以借助splunk轻松地实时收集、索引、转化和呈现数据。

本章将学习一些基本的技巧,掌握如何将所需的数据导入splunk,介绍如何使用样本数据集来构建自己的splunk智能运维应用程序。该数据集是由一个虚拟的三层式电子商务web应用程序生成的,包含web服务器日志、应用程序日志和数据库日志。

splunk enterprise可以索引任何类型的数据,不过,它最适合于索引时间序列数据(带时间戳的数据)。splunk enterprise索引数据是按时间戳和/或事件大小将数据分解为事件并编制索引。索引是splunk制作的数据存储区,存取速度很快,可以检索并根据分布式服务器环境进行扩展,常被称为索引器。这也是把导入数据到splunk的过程称为索引的原因。

所有经splunk索引的数据都会被分配一个源类型。数据源类型有助于标识事件的数据格式类型以及事件的来源。splunk有多种预置的源类型,但也可以自己指定。示例的源类型包括:access_combined、cisco_syslog和linux_secure。当索引器将数据索引至splunk时,源类型就会添加到数据上。用户执行字段提取或在各种搜索中过滤搜索数据时,数据源类型是一项关键字段。

splunk社区能帮助用户更轻松地在splunk中导入数据。splunk的扩展性让我们有机会开发输入、命令和应用程序,这些都可以轻松与他人分享。如果我们想索引来自特定系统或应用程序的数据,可能有人已经开发并发布了相关的配置和工具,我们可以轻松地将其用于自己的splunk enterprise部署上。

splunk enterprise致力于让数据收集更轻松,不久我们就能为自己或他人向splunk中导入大量数据——至少会用完splunk license许可的索引量。