Flume 常见配置zo

1. Source NetCat Source：绑定的端口（tcp、udp），将流经端口的每一个文本行数据作为Event输入； type：source的类型，必须是netcat。 bind：要监听的(本机的)主机名或者ip。此监听不是过滤发送方。一台电脑不是说只有一个IP。有多网卡的电脑，对应多个IP。 port：绑定的本地的端口。

Avro Source：监听一个avro服务端口，采集Avro数据序列化后的数据； type：avrosource的类型，必须是avro。 bind：要监听的(本机的)主机名或者ip。此监听不是过滤发送方。一台电脑不是说只有一个IP。有多网卡的电脑，对应多个IP。 port：绑定的本地的端口。

Exec Source：于Unix的command在标准输出上采集数据； type:    source的类型：必须是exec。 command：要执行命令。tail -F ***.log

2. sink HDFS Sink：将数据传输到hdfs集群中。 type：sink的类型 必须是hdfs。 hdfs.path：hdfs的上传路径。 hdfs.filePrefix：hdfs文件的前缀。默认是:FlumeData hdfs.rollInterval:    间隔多久产生新文件，默认是:30（秒） 0表示不以时间间隔为准。 hdfs.rollSize：文件到达多大再产生一个新文件，默认是:1024（bytes）0表示不以文件大小为准。 hdfs.rollCount：event达到多大再产生一个新文件，默认是:10（个）0表示不以event数目为准。 hdfs.batchSize：每次往hdfs里提交多少个event，默认为100 hdfs.fileType：hdfs文件的格式 hdfs.codeC：压缩方式：gzip, bzip2, lzo, lzop, snappy

Logger Sink将数据作为日志处理（根据flume中的设置的日志方式来显示） 要在控制台显示在运行agent的时候加入：-Dflume.root.logger=INFO,console 。Flume的目录的 Logs/flume.log。 type：sink的类型：必须是 logger。 maxBytesToLog：打印body的最长的字节数 默认为16

Avro Sink：数据被转换成Avro Event，然后发送到指定的服务端口上。 type：sink的类型：必须是 avro。 hostname：指定发送数据的目的地主机名或者ip port：指定发送数据的端口

3. channel Memory Channel使用内存作为数据的存储。 channel的类型：必须为memory capacity：channel中的最大event数目 transactionCapacity：channel中允许事务的最大event数目

4. Interceptor Timestamp Interceptor 时间戳拦截器 在header里加入key为timestamp，value为当前时间。 type：拦截器的类型，必须为timestamp preserveExisting：如果此拦截器增加的key已经存在，如果这个值设置为true则保持原来的值，否则覆盖原来的值。默认为false

Host Interceptor 主机名或者ip拦截器，在header里加入ip或者主机名 type：拦截器的类型，必须为host preserveExisting：如果此拦截器增加的key已经存在，如果这个值设置为true则保持原来的值，否则覆盖原来的值。默认为false useIP：如果设置为true则使用ip地址，否则使用主机名，默认为true hostHeader：使用的header的key名字，默认为host

Static Interceptor 静态拦截器，是在header里加入固定的key和value。 type：avrosource的类型，必须是static。 preserveExisting: 如果此拦截器增加的key已经存在，如果这个值设置为true则保持原来的值，否则覆盖原来的值。默认为false key: 静态拦截器添加的key的名字 value: 静态拦截器添加的key对应的value值

5. Channel Selector Multiplexing Channel Selector 根据header的key的值分配channel selector.type  默认为replicating selector.header：选择作为判断的key selector.default：默认的channel配置 selector.mapping.*：匹配到的channel的配置