最近几个项目模块要从hadoop1升级到hadoop2,不过在修改的过程中出现了一些问题,其中一个问题就是在使用 FileSystem fs = FileSystem.get(conf);调用hdfs时报错,具体报错信息如下:
![](https://img.laitimes.com/img/_0nNw4CM6IyYiwiM6ICdiwiI0NXYFhGd192UvwVe0lmdhJ3ZvwFM38CXlZHbvN3cpR2Lc1TPB10QGtWUCpEMJ9CXsxWam9CXwADNvwVZ6l2c052bm9CXUJDT1wkNhVzLcRnbvZ2Lc1TUU10dJpnYoh2VlZXUYpVd1kmYr50MZV3YyI2cKJDT29GRjBjUIF2LcRHelR3LcJzLctmch1mclRXY39zN5EDNwIjM5ADOwUDM1EDMy8CX0Vmbu4GZzNmLn9Gbi1yZtl2Lc9CX6MHc0RHaiojIsJye.jpg)
查看FileSystem类发现通过FileSystem.get()初始化的时候,需要通过静态加载的方式来实现,具体实现如下:
从代码中可以看出最终需要调用getFileSystemClass(String scheme, Configuration conf)方法,在此方法中需要读取core-default.xml文件中定义的“fs.” + scheme + ".impl"(在本例中应读取fs.hdfs.impl)的配置信息,但此配置信息在默认的配置文件中没有配置(hadoop-common-x.jar中的core-default.xml文件中).
------------------------------------------
解决办法:
在配置文件core-default.xml中添加如下配置信息:
<property>
<name>fs.hdfs.impl</name>
<value>org.apache.hadoop.hdfs.DistributedFileSystem</value>
<description>The FileSystem for hdfs: uris.</description>
</property>