【Apache Flume】Apache Flume分布式日志采集服務概述及環境搭建

Apache Flume

• • 概述
  • 架構
  • Flume環境搭建

概述

Flume是一種分布式，可靠且可用的服務，用于有效地收集，聚合和移動大量日志資料。Flume建構在日志流之上一個簡單靈活的架構。它具有可靠的可靠性機制和許多故障轉移和恢複機制，具有強大的容錯性。使用Flume這套架構實作對日志流資料的實時線上分析。Flume支援在日志系統中定制各類資料發送方，用于收集資料；同時，Flume提供對資料進行簡單處理，并寫到各種資料接受方（可定制）的能力。目前Flume有兩個版本

Flume 0.9X

版本的統稱

Flume-og

，

Flume1.X

版本的統稱

Flume-ng

。由于Flume-ng經過重大重構，與Flume-og有很大不同，使用時請注意區分。本次使用的是

apache-flume-1.9.0-bin.tar.gz

架構

Flume環境搭建

• 安裝JDK 1.8+ 并配置

  JAVA_HOME

  環境變量，詳見 CentOS7中JDK的安裝及環境變量配置
• 安裝Flume，下載下傳位址 http://mirrors.tuna.tsinghua.edu.cn/apache/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz

[[email protected] ~]# tar -zxf apache-flume-1.9.0-bin.tar.gz -C /usr/
[[email protected] ~]# cd /usr/apache-flume-1.9.0-bin/
[[email protected] apache-flume-1.9.0-bin]# ./bin/flume-ng version
Flume 1.9.0
Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git
Revision: d4fcab4f501d41597bc616921329a4339f73585e
Compiled by fszabo on Mon Dec 17 20:45:25 CET 2018
From source with checksum 35db629a3bda49d23e9b3690c80737f9