《ELK Stack权威指南（第2版）》一 2.2 编解码配置

本节书摘来自华章出版社《elk stack权威指南（第2版）》一书中的第2章，第2.2节，作者 饶琛琳  更多章节内容可以访问云栖社区“华章计算机”公众号查看。 

2.2　编解码配置

codec是logstash从1.3.0版开始新引入的概念（codec来自coder/decoder两个单词的首字母缩写）。

在此之前，logstash只支持纯文本形式输入，然后以过滤器处理它。但现在，我们可以在输入期处理不同类型的数据，这全是因为有了codec设置。

所以，这里需要纠正之前的一个概念。logstash不只是一个input | filter | output的数据流，而是一个input | decode | filter | encode | output的数据流！codec就是用来decode、encode事件的。

codec的引入，使得logstash可以更好、更方便地与其他有自定义数据格式的运维产品共存，比如graphite、fluent、netflow、collectd，以及使用msgpack、json、edn等通用数据格式的其他产品等。

事实上，我们在第一个“hello world”用例中就已经用过codec了—rubydebug就是一种codec！虽然它一般只会用在stdout插件中，作为配置测试或者调试的工具。

这个五段式的流程说明源自perl版的logstash（后来改名叫message::passing模块）的设计。本书稍后5.8节会对该模块稍作介绍。

2.2.1　json编解码

在早期的版本中，有一种降低logstash过滤器的cpu负载消耗的做法盛行于社区（在当时的cookbook上有专门的一节介绍）：直接输入预定义好的json数据，这样就可以省略掉filter/grok配置！

这个建议依然有效，不过在当前版本中需要稍微做一点配置变动，因为现在有专门的codec设置。

1.配置示例

<code></code>

<code>3. nginx代理服务的日志格式问题</code>

<code>对于一个web服务器的访问日志，看起来已经可以很好的工作了。不过如果nginx是作为一个代理服务器运行的话，访问日志里有些变量，比如说$upstream_response_time，可能不会一直是数字，它也可能是一个“-”字符串！这会直接导致logstash对输入数据验证报异常。</code>

<code>有两个办法解决这个问题：</code>

<code>1）用sed在输入之前先替换-成0。运行logstash进程时不再读取文件而是标准输入，这样命令就成了下面这个样子：</code>

<code>tail -f /var/log/nginx/proxy_access.log_json \</code>

<code>    | sed 's/upstreamtime":-/upstreamtime":0/' \</code>

<code>    | /usr/local/logstash/bin/logstash -f /usr/local/logstash/etc/proxylog.conf</code>

<code>2）日志格式中统一记录为字符串格式（即都带上双引号），然后再在logstash中用filter/mutate插件来变更应该是数值类型的字符字段的值类型。</code>

<code>有关logstash::filters::mutate的内容，本书稍后会有介绍。</code>

<code>2.2.2　多行事件编码</code>

<code>有些时候，应用程序调试日志会包含非常丰富的内容，为一个事件打印出很多行内容。这种日志通常都很难通过命令行解析的方式做分析。</code>

<code>而logstash正为此准备好了codec/multiline插件！当然，multiline插件也可以用于其他类似的堆栈式信息，比如linux的内核日志。</code>

<code>配置示例如下：</code>

<code>input {</code>

<code>    stdin {</code>

<code>        codec =&gt; multiline {</code>

<code>            pattern =&gt;"^\["</code>

<code>            negate =&gt; true</code>

<code>            what =&gt;"previous"</code>

<code>        }</code>

<code>    }</code>

<code>}</code>

<code>运行logstash进程，然后在等待输入的终端中输入如下几行数据：</code>

<code>[aug/08/08 14:54:03] hello world</code>

<code>[aug/08/09 14:54:04] hello logstash</code>

<code>    hello best practice</code>

<code>    hello raochenlin</code>

<code>[aug/08/10 14:54:05] the end</code>

<code>你会发现logstash输出下面这样的返回：</code>

<code>你看，后面这个事件，在“message”字段里存储了三行数据！</code>

<code>输出的事件中没有最后一行的"the end"字符串，这是因为你最后输入的回车符\n并不匹配设定的^\[正则表达式，logstash还得等下一行数据直到匹配成功后才会输出这个事件。</code>

<code>其实这个插件的原理很简单，就是把当前行的数据添加到前面一行后面，直到新进的当前行匹配^\[正则为止。这个正则还可以用grok表达式，稍后你就会学习这方面的内容。具体的java日志正则见：https://github.com/logstash-plugins/logstash-patterns-core/blob/master/patterns/java</code>

<code>说到应用程序日志，log4j肯定是第一个被大家想到的，使用codec/multiline也确实是一个办法。</code>

<code>不过，如果你本身就是开发人员，或者可以推动程序修改变更的话，logstash还提供了另一种处理log4j的方式：input/log4j。与codec/multiline不同，这个插件是直接调用了org.apache.log4j.spi.loggingevent处理tcp端口接收的数据。后面3.6节会详细讲述log4j的用法。</code>

<code>2.2.3　网络流编码</code>

<code>netflow是cisco发明的一种数据交换方式。netflow提供网络流量的会话级视图，记录下每个tcp/ip事务的信息。它的目的不是像tcpdump那样提供网络流量的完整记录，而是汇集起来形成更易于管理和易读的流向和容量的分析监控。</code>

<code>cisco上配置netflow的方法，请参照具体的设备说明，主要是设定采集服务器的地址和端口，为运行logstash服务的主机地址和端口（示例中为9995）。</code>

<code>采集netflow数据的logstash服务配置示例如下：</code>

<code>2.2.4　collectd输入</code>

<code>collectd是一个守护（daemon）进程，用来收集系统性能和提供各种存储方式来存储不同值的机制。它会在系统运行和存储信息时周期性的统计系统的相关统计信息。利用这些信息有助于查找当前系统性能瓶颈（如作为性能分析performance analysis）和预测系统未来的load（如能力部署capacity planning）等</code>

<code>下面简单介绍一下:collectd的部署以及与logstash对接的相关配置实例。</code>

<code>1. collectd的安装</code>

<code>collectd的安装同样有两种方式，使用官方软件仓库安装或源代码安装。</code>

<code>使用官方软件仓库安装（推荐）</code>

<code>collectd官方有一个隐藏的软件仓库：https://pkg.ci.collectd.org，构建有rhel/centos （rpm），debian/ubuntu（deb）的软件包，如果你使用的操作系统属于上述的，那么推荐使用软件仓库安装。</code>

<code>目前collectd官方维护3个版本：5.4、5.5、5.6。根据需要选择合适的版本仓库。下面示例安装5.5版本的方法。</code>

<code>debian/ubuntu仓库安装：</code>

<code>echo "deb http://pkg.ci.collectd.org/deb $(lsb_release -sc) collectd-5.5" | sudo tee /etc/apt/sources.list.d/collectd.list</code>

<code>curl -s https://pkg.ci.collectd.org/pubkey.asc | sudo apt-key add -</code>

<code>sudo apt-get update &amp;&amp; sudo apt-get install -y collectd</code>

<code>注意，debian/ubuntu软件仓库自带有collectd软件包，如果软件仓库自带的版本足够你使用，那么可以不用添加仓库，直接通过apt-get install collectd即可。</code>

<code>rhel/centos仓库安装：</code>

<code>cat &gt; /etc/yum.repos.d/collectd.repo &lt;&lt;eof</code>

<code>[collectd-5.5]</code>

<code>name=collectd-5.5</code>

<code>baseurl=http://pkg.ci.collectd.org/rpm/collectd-5.5/epel-\$releasever-\$basearch/</code>

<code>gpgcheck=1</code>

<code>gpgkey=http://pkg.ci.collectd.org/pubkey.asc</code>

<code>eof</code>

<code>yum install -y collectd</code>

<code>你如果需要使用其他collectd插件，此时也可一并安装对应的collectd-xxxx软件包。</code>

<code>源码安装collectd</code>

<code>collectd目前维护3个版本：5.4、5.5、5.6。源代码编译安装时同样可以根据自己需要选择对应版本的源码下载：</code>

<code>wget http://collectd.org/files/collectd-5.4.1.tar.gz</code>

<code>tar zxvf collectd-5.4.1.tar.gz</code>

<code>cd collectd-5.4.1</code>

<code>./configure --prefix=/usr --sysconfdir=/etc --localstatedir=/var --libdir=/usr/lib --mandir=/usr/share/man --enable-all-plugins</code>

<code>make &amp;&amp; make install</code>

<code>源代码编译安装需要预先解决好各种环境依赖，在redhat平台上要提前安装如下软件包：</code>

<code>rpm -ivh "http://dl.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm"</code>

<code>yum -y install libcurl libcurl-devel rrdtool rrdtool-devel perl-rrdtool rrdtool-prel libgcrypt-devel gcc make gcc-c++ liboping liboping-devel perl-cpan net-snmp net-snmp-devel</code>

<code>安装启动脚本如下：</code>

<code>cp contrib/redhat/init.d-collectd /etc/init.d/collectd</code>

<code>chmod +x /etc/init.d/collectd</code>

<code>启动collectd如下：</code>

<code>service collectd start</code>

<code>2. collectd的配置</code>

<code>以下配置可以实现对服务器基本的cpu、内存、网卡流量、磁盘i/o以及磁盘空间占用情况的监控：</code>

<code>3. logstash的配置</code>

<code>以下配置实现通过logstash监听25826端口，接收从collectd发送过来的各项检测数据。</code>

<code>注意，logstash-filter-collectd插件本身需要单独安装，logstash插件安装说明之前已经讲过：</code>

<code>bin/logstash-plugin install logstash-filter-collectd</code>

<code>logstash默认自带有collectd的codec编码插件。</code>

<code>推荐配置示例如下：</code>