實時讀取目錄檔案到 HDFS 案例分析 | 學習筆記

開發者學堂課程【資料采集系統 Flume 快速入門：實時讀取目錄檔案到 HDFS 案例分析】學習筆記，與課程緊密聯系，讓使用者快速學習知識。

課程位址：

https://developer.aliyun.com/learning/course/99/detail/1633

實時讀取目錄檔案到 HDFS 案例分析

（1）執行個體需求：

使用 Flume 監聽整個目錄的檔案

（2）需求分析：

使用情況：

log 和目錄裡面的檔案沒有上傳到 HDFS 。

（3）案例步驟

1.建立符合條件的 flume 配置檔案

2.執行配置檔案

3.向 upload 目錄中添加檔案

4.檢視 HDFS上 的資料

5.檢視 /opt/ module/ flume/ upload 目錄中上傳的檔案是否已經标記為COMLPETED 結尾；. tmp 字尾結尾檔案沒有上傳。