天天看點

KAFKA 與 FLUME 內建配置測試KAFKA 與 FLUME 內建配置測試

KAFKA 與 FLUME 內建配置測試

标簽(空格分隔): 未分類

FLUME 安裝配置

指導連結: https://blog.csdn.net/a123demi/article/details/72637847

安裝FLUME 設定其支援kafka

上傳并壓縮FLUME 并修改名字為flume...
           
KAFKA 與 FLUME 內建配置測試KAFKA 與 FLUME 內建配置測試
修改檔案
flume-env.sh.template -> flume-env.sh
并設定jdk目錄和hadoop目錄
           
KAFKA 與 FLUME 內建配置測試KAFKA 與 FLUME 內建配置測試
修改conf配置
flume-conf.properties  去掉 template
           
KAFKA 與 FLUME 內建配置測試KAFKA 與 FLUME 內建配置測試
KAFKA 與 FLUME 內建配置測試KAFKA 與 FLUME 內建配置測試

測試

KAFKA 與 FLUME 內建配置測試KAFKA 與 FLUME 內建配置測試

kafka 啟動一個消息接收端

KAFKA 與 FLUME 內建配置測試KAFKA 與 FLUME 內建配置測試
KAFKA 與 FLUME 內建配置測試KAFKA 與 FLUME 內建配置測試
啟動flume 讀取模拟日志資料
           
KAFKA 與 FLUME 內建配置測試KAFKA 與 FLUME 內建配置測試
KAFKA 與 FLUME 內建配置測試KAFKA 與 FLUME 內建配置測試
kafka接收端
在 /opt/datas/  下建立一個sh腳本  模拟産生資料
           
KAFKA 與 FLUME 內建配置測試KAFKA 與 FLUME 內建配置測試
KAFKA 與 FLUME 內建配置測試KAFKA 與 FLUME 內建配置測試
kafka消息接收者讀取到消息
           
KAFKA 與 FLUME 內建配置測試KAFKA 與 FLUME 內建配置測試
flume讀取到消息
           
KAFKA 與 FLUME 內建配置測試KAFKA 與 FLUME 內建配置測試