天天看點

Flume安裝部署,采集方案配置檔案編寫案例,啟動agent采集資料

1、flume的安裝非常簡單,隻需要解壓即可,當然,前提是已有hadoop環境

上傳安裝包到資料源所在節點上

然後解壓 tar -zxvf apache-flume-1.6.0-bin.tar.gz,最終解壓到的位置是:/home/tuzq/software/apache-flume-1.6.0-bin

然後進入flume的目錄,修改conf下的flume-env.sh,在裡面配置java_home

Flume安裝部署,采集方案配置檔案編寫案例,啟動agent采集資料

2、根據資料采集的需求配置采集方案,描述在配置檔案中(檔案名可任意自定義)

3、指定采集方案配置檔案,在相應的節點上啟動flume agent

vi netcat-logger.conf(這個是我們自己定義的采集方案的配置檔案)

bin/flume-ng agent -c conf -f conf/netcat-logger.conf -n a1 -dflume.root.logger=info,console

-c conf 指定flume自身的配置檔案所在目錄

-f conf/netcat-logger.con 指定我們所描述的采集方案

-n a1 指定我們這個agent的名字(是配置檔案中寫的那個agent)

先要往agent采集監聽的端口上發送資料,讓agent有資料可采

随便在一個能跟agent節點聯網的機器上

telnet anget-hostname port (telnet hadoop1 44444)

Flume安裝部署,采集方案配置檔案編寫案例,啟動agent采集資料

在telnet終端上輸入内容,最後回到打開的agent,發現有内容輸出,輸出的内容如下:

Flume安裝部署,采集方案配置檔案編寫案例,啟動agent采集資料

綜上所述:說明flume已經安裝配置成功!

繼續閱讀