最近在做flume日志收集系統相關項目,收集flume相關的知識,以便查閱、分享。
轉載出處:http://www.cnblogs.com/tq03/p/5151954.html
一、flume的基本架構圖:
下面這個圖基本說明了flume的作用,以及flume中的基本元件:source、channel、sink。
Source:完成對日志資料的收集,分成transtion 和 event 打入到channel之中。
Channel:主要提供一個隊列的功能,對source提供中的資料進行簡單的緩存。
Sink:取出Channel中的資料,進行相應的存儲檔案系統,資料庫,或者送出到遠端伺服器。
二、source清單:
簡要說明:
1、Avro Source:支援Avro協定(實際上是Avro RPC),内置支援
2、Thrift Source:支援Thrift協定,内置支援
3、Exec Source | 基于Unix的command在标準輸出上生産資料
4、JMS Source:從JMS系統(消息、主題)中讀取資料,ActiveMQ已經測試過
5、Spooling Directory Source:監控指定目錄内資料變更
6、Twitter 1% firehose Source:通過API持續下載下傳Twitter資料,試驗性質
7、Netcat Source:監控某個端口,将流經端口的每一個文本行資料作為Event輸入
8、Sequence Generator Source:序列生成器資料源,生産序列資料
9、Syslog Sources:讀取syslog資料,産生Event,支援UDP和TCP兩種協定
10、HTTP Source:基于HTTP POST或GET方式的資料源,支援JSON、BLOB表示形式
11、Legacy Sources:相容老的Flume OG中Source(0.9.x版本)
三、channel清單:
四、sink清單:
五、processor清單:
六、interceptor清單: