Hadoop檔案系統支援釋疑之S3

一、引言

　　hadoop版本提供了對多種檔案系統的支援，但是這些檔案系統是以何種方式實作的，其實作原理是什麼以前并沒有深究過。今天正好有人咨詢我這個問題：hadoop對s3的支援原理是什麼？特此總結一下。hadoop支援的檔案系統包括：　　

　　檔案系統                 uri字首       hadoop的具體實作類

　　local                     file               fs.localfilesystem

　　hdfs                     hdfs            hdfs.distributedfilesystem

　　hftp                      hftp            hdfs.hftpfilesystem

　　hsftp                    hsftp          hdfs.hsftpfilesystem

　　har                        har            fs.harfilesystem

　　kfs                         kfs            fs.kfs.kosmosfilesystem

　　ftp                          ftp             fs.ftp.ftpfilesystem

　　s3 (native)              s3n            fs.s3native.natives3filesystem

　　s3 (blockbased)      s3      fs.s3.s3filesystem

二、争議觀點

 　　1.hadoop對s3檔案系統的支援是通過自己實作s3檔案系統來做的嗎？

　　 2.hadoop對s3檔案系統的支援是通過s3檔案系統接口，實作的對s3檔案系統的整合？

三、源碼解析

 四、有圖有真相

 五、結論

　　hadoop對s3檔案系統的支援通過s3檔案系統接口，實作的對s3檔案系統的整合。有感興趣的可以自行參照源碼。