天天看点

MapReduce本地运行路径配置报错 java.io.IOException: (null) entry in command string: null ls -F

问题

Error while running command to get file permissions : java.io.IOException: (null) entry in command string: null ls -F

修改之前配置路径:

//本地运行输入路径配置
TextInputFormat.addInputPath(job, new Path("file:///D:\\IdeaWorkSpace\\bigDate\\data\\sort\\sort_input"));
           

原因及解决

  1. 没有指定具体路径,若是只有单个文件,路径写到到具体文件到路径即可

    如下:

//本地运行输入路径配置
TextInputFormat.addInputPath(job, new Path("file:///D:\\IdeaWorkSpace\\bigDate\\data\\sort\\sort_input\\1.txt"));
           
  1. 若是需要读取多个文件,则在文件目录路径最后添加

    \\*

    TextInputFormat.addInputPath(job, new Path("file:///D:\\IdeaWorkSpace\\bigDate\\data\\sort\\sort_input\\*"));

//本地运行输入路径配置
TextInputFormat.addInputPath(job, new Path("file:///D:\\IdeaWorkSpace\\bigDate\\data\\sort\\sort_input\\*"));
           

这样即可读取sort_input下所有文件内容了