天天看點

Flume學習進階(一):source、channel、sink、processor、interceptor等元件清單說明及包含的類型介紹

最近在做flume日志收集系統相關項目,收集flume相關的知識,以便查閱、分享。

轉載出處:http://www.cnblogs.com/tq03/p/5151954.html

一、flume的基本架構圖:

下面這個圖基本說明了flume的作用,以及flume中的基本元件:source、channel、sink。

Source:完成對日志資料的收集,分成transtion 和 event 打入到channel之中。  

Channel:主要提供一個隊列的功能,對source提供中的資料進行簡單的緩存。  

Sink:取出Channel中的資料,進行相應的存儲檔案系統,資料庫,或者送出到遠端伺服器。

Flume學習進階(一):source、channel、sink、processor、interceptor等元件清單說明及包含的類型介紹
Flume學習進階(一):source、channel、sink、processor、interceptor等元件清單說明及包含的類型介紹

二、source清單:

Flume學習進階(一):source、channel、sink、processor、interceptor等元件清單說明及包含的類型介紹

簡要說明:

1、Avro Source:支援Avro協定(實際上是Avro RPC),内置支援

2、Thrift Source:支援Thrift協定,内置支援

3、Exec Source | 基于Unix的command在标準輸出上生産資料

4、JMS Source:從JMS系統(消息、主題)中讀取資料,ActiveMQ已經測試過

5、Spooling Directory Source:監控指定目錄内資料變更

6、Twitter 1% firehose Source:通過API持續下載下傳Twitter資料,試驗性質

7、Netcat Source:監控某個端口,将流經端口的每一個文本行資料作為Event輸入

8、Sequence Generator Source:序列生成器資料源,生産序列資料

9、Syslog Sources:讀取syslog資料,産生Event,支援UDP和TCP兩種協定

10、HTTP Source:基于HTTP POST或GET方式的資料源,支援JSON、BLOB表示形式

11、Legacy Sources:相容老的Flume OG中Source(0.9.x版本)

三、channel清單:

Flume學習進階(一):source、channel、sink、processor、interceptor等元件清單說明及包含的類型介紹

四、sink清單:

Flume學習進階(一):source、channel、sink、processor、interceptor等元件清單說明及包含的類型介紹

五、processor清單:

Flume學習進階(一):source、channel、sink、processor、interceptor等元件清單說明及包含的類型介紹

六、interceptor清單:

Flume學習進階(一):source、channel、sink、processor、interceptor等元件清單說明及包含的類型介紹

七、其他元件清單:

Flume學習進階(一):source、channel、sink、processor、interceptor等元件清單說明及包含的類型介紹

繼續閱讀