天天看点

No FileSystem for scheme: hdfs

          最近几个项目模块要从hadoop1升级到hadoop2,不过在修改的过程中出现了一些问题,其中一个问题就是在使用 FileSystem fs = FileSystem.get(conf);调用hdfs时报错,具体报错信息如下:

No FileSystem for scheme: hdfs

        查看FileSystem类发现通过FileSystem.get()初始化的时候,需要通过静态加载的方式来实现,具体实现如下:

No FileSystem for scheme: hdfs
No FileSystem for scheme: hdfs
No FileSystem for scheme: hdfs

        从代码中可以看出最终需要调用getFileSystemClass(String scheme, Configuration conf)方法,在此方法中需要读取core-default.xml文件中定义的“fs.” + scheme + ".impl"(在本例中应读取fs.hdfs.impl)的配置信息,但此配置信息在默认的配置文件中没有配置(hadoop-common-x.jar中的core-default.xml文件中).

------------------------------------------

解决办法:

在配置文件core-default.xml中添加如下配置信息:

<property>

     <name>fs.hdfs.impl</name>

     <value>org.apache.hadoop.hdfs.DistributedFileSystem</value>

     <description>The FileSystem for hdfs: uris.</description>

</property>

继续阅读