【大資料Flume系列】Flume自定義Source和Sink

文章目錄

• • 二、自定義Source
  • • 1、概述
    • 2、需求
    • 3、編碼
  • 三、自定義Sink
  • • 1、概述
    • 2、需求
    • 3、編碼

二、自定義Source

1、概述

  Source是負責接收資料到Flume Agent的元件。Source元件可以處理各種類型、各種格式的日志資料，包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy。官方提供的source類型已經很多，但是有時候并不能滿足實際開發當中的需求，此時我們就需要根據實際需求自定義某些source。

  官方也提供了自定義source的接口：https://flume.apache.org/FlumeDeveloperGuide.html#source 根據官方說明自定義MySource需要繼承AbstractSource類并實作Configurable和PollableSource接口。

  實作相應方法：