天天看點

MapReduce本地運作路徑配置報錯 java.io.IOException: (null) entry in command string: null ls -F

問題

Error while running command to get file permissions : java.io.IOException: (null) entry in command string: null ls -F

修改之前配置路徑:

//本地運作輸入路徑配置
TextInputFormat.addInputPath(job, new Path("file:///D:\\IdeaWorkSpace\\bigDate\\data\\sort\\sort_input"));
           

原因及解決

  1. 沒有指定具體路徑,若是隻有單個檔案,路徑寫到到具體檔案到路徑即可

    如下:

//本地運作輸入路徑配置
TextInputFormat.addInputPath(job, new Path("file:///D:\\IdeaWorkSpace\\bigDate\\data\\sort\\sort_input\\1.txt"));
           
  1. 若是需要讀取多個檔案,則在檔案目錄路徑最後添加

    \\*

    TextInputFormat.addInputPath(job, new Path("file:///D:\\IdeaWorkSpace\\bigDate\\data\\sort\\sort_input\\*"));

//本地運作輸入路徑配置
TextInputFormat.addInputPath(job, new Path("file:///D:\\IdeaWorkSpace\\bigDate\\data\\sort\\sort_input\\*"));
           

這樣即可讀取sort_input下所有檔案内容了