天天看點

【大資料技巧】Flume采集網站日志到MaxCompute常見問題彙總

本文列舉了flume采集網站日志到maxcompute的一些常見問題,歡迎大家補充;

【大資料技巧】Flume采集網站日志到MaxCompute常見問題彙總

q:找不到指定路徑的檔案

a:本實驗要在linux系統下運作,路徑也要寫在linux下的路徑

【大資料技巧】Flume采集網站日志到MaxCompute常見問題彙總

q:找不到指定sink

type的類

a:插件錯誤,需要用新版本的

flume插件

寫新版本的 datahub

【大資料技巧】Flume采集網站日志到MaxCompute常見問題彙總

q:不能執行sinkrunner

【大資料技巧】Flume采集網站日志到MaxCompute常見問題彙總

q:不識别datahub  endpoint位址

a:填的 endpoint是 ecs上用的,應填寫公網位址

【大資料技巧】Flume采集網站日志到MaxCompute常見問題彙總

q:更改endpoint位址後依舊報同樣的錯

a:虛拟機未能ping通外網,重新設定虛拟機,搭建橋接模式

q:報ak有錯

a:先檢查ak是否被禁用,若沒有不斷重新整理頁面

【大資料技巧】Flume采集網站日志到MaxCompute常見問題彙總

q:上傳資料成功後往maxcompute歸檔時未成功

a:maxcompute表的字段和datahub topic字段大小寫不一緻(還要注意flume配置文

   件中a1.sinks.k1.serializer.fieldnames的一緻性)

q:錯誤,找不到主類

a:不支援檔案夾命名帶空格,如maxcompute project,改為maxcompute_project

【大資料技巧】Flume采集網站日志到MaxCompute常見問題彙總

繼續閱讀