本文列舉了flume采集網站日志到maxcompute的一些常見問題,歡迎大家補充;
![](https://img.laitimes.com/img/9ZDMuAjOiMmIsIjOiQnIsIyZuBnL2E2Y0ITZ3YTOykTNwczN4E2N4UWNzQWMkNjMiVDM1MTZ2YTZ4kTNw8CXt92Yu4GZjlGbh5SZslmZxl3Lc9CX6MHc0RHaiojIsJye.png)
q:找不到指定路徑的檔案
a:本實驗要在linux系統下運作,路徑也要寫在linux下的路徑
q:找不到指定sink
type的類
a:插件錯誤,需要用新版本的
flume插件
寫新版本的 datahub
q:不能執行sinkrunner
q:不識别datahub endpoint位址
a:填的 endpoint是 ecs上用的,應填寫公網位址
q:更改endpoint位址後依舊報同樣的錯
a:虛拟機未能ping通外網,重新設定虛拟機,搭建橋接模式
q:報ak有錯
a:先檢查ak是否被禁用,若沒有不斷重新整理頁面
q:上傳資料成功後往maxcompute歸檔時未成功
a:maxcompute表的字段和datahub topic字段大小寫不一緻(還要注意flume配置文
件中a1.sinks.k1.serializer.fieldnames的一緻性)
q:錯誤,找不到主類
a:不支援檔案夾命名帶空格,如maxcompute project,改為maxcompute_project