【Apache Flume】Apache Flume分布式日志采集服务概述及环境搭建

Apache Flume

• • 概述
  • 架构
  • Flume环境搭建

概述

Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。Flume构建在日志流之上一个简单灵活的架构。它具有可靠的可靠性机制和许多故障转移和恢复机制，具有强大的容错性。使用Flume这套架构实现对日志流数据的实时在线分析。Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。当前Flume有两个版本

Flume 0.9X

版本的统称

Flume-og

，

Flume1.X

版本的统称

Flume-ng

。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。本次使用的是

apache-flume-1.9.0-bin.tar.gz

架构

Flume环境搭建

• 安装JDK 1.8+ 并配置

  JAVA_HOME

  环境变量，详见 CentOS7中JDK的安装及环境变量配置
• 安装Flume，下载地址 http://mirrors.tuna.tsinghua.edu.cn/apache/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz

[[email protected] ~]# tar -zxf apache-flume-1.9.0-bin.tar.gz -C /usr/
[[email protected] ~]# cd /usr/apache-flume-1.9.0-bin/
[[email protected] apache-flume-1.9.0-bin]# ./bin/flume-ng version
Flume 1.9.0
Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git
Revision: d4fcab4f501d41597bc616921329a4339f73585e
Compiled by fszabo on Mon Dec 17 20:45:25 CET 2018
From source with checksum 35db629a3bda49d23e9b3690c80737f9