天天看點

java mongodb gridfs_MongoDB學習筆記之GridFS使用介紹

GridFS簡介

GridFS是MongoDB中的一個内置功能,可以用于存放大量小檔案。

GridFS使用

MongoDB提供了一個指令行工具mongofiles可以來處理GridFS,

列出所有檔案:

mongofiles list

上傳一個檔案:

mongofiles put xxx.txt

下載下傳一個檔案:

mongofiles get xxx.txt

查找檔案:

//會查找所有檔案名中包含“xxx”的檔案

mongofiles search xxx

//會查找所有檔案名以“xxx”為字首的檔案

mongofiles list xxx

參數說明:

–d 指定資料庫 ,預設是fs,Mongofiles list –d testGridfs

-u –p 指定使用者名,密碼

-h 指定主機

-port 指定主機端口

-c 指定集合名,預設是fs

-t 指定檔案的MIME類型,預設會忽略

GridFS實作原理

GridFS在資料庫中,預設使用fs.chunks和fs.files來存儲檔案。

其中fs.files集合存放檔案的資訊,fs.chunks存放檔案資料。

一個fs.files集合中的一條記錄内容如下,即一個file的資訊如下:

{

"_id" : ObjectId("4f4608844f9b855c6c35e298"),       //唯一id,可以是使用者自定義的類型

"filename" : "CPU.txt",      //檔案名

"length" : 778,      //檔案長度

"chunkSize" : 262144,    //chunk的大小

"uploadDate" : ISODate("2012-02-23T09:36:04.593Z"), //上傳時間

"md5" : "e2c789b036cfb3b848ae39a24e795ca6",      //檔案的md5值

"contentType" : "text/plain"     //檔案的MIME類型

"meta" : null    //檔案的其它資訊,預設是沒有”meta”這個key,使用者可以自己定義為任意BSON對象

}

對應的fs.chunks中的chunk如下:

{

"_id" : ObjectId("4f4608844f9b855c6c35e299"),    //chunk的id

"files_id" : ObjectId("4f4608844f9b855c6c35e298"),  //檔案的id,對應fs.files中的對象,相當于fs.files集合的外鍵

"n" : 0,     //檔案的第幾個chunk塊,如果檔案大于chunksize的話,會被分割成多個chunk塊

"data" : BinData(0,"QGV...")     //檔案的二進制資料,這裡省略了具體内容

}

預設chunk的大小是256K。

是以在把檔案存入到GridFS過程中,如果檔案大于chunksize,則把檔案分割成多個chunk,再把這些chunk儲存到fs.chunks中,最後再把檔案資訊存入到fs.files中。

在讀取檔案的時候,先據查詢的條件,在fs.files中找到一個合适的記錄,得到“_id”的值,再據這個值到fs.chunks中查找所有“files_id”為“_id”的chunk,并按“n”排序,最後依次讀取chunk中“data”對象的内容,還原成原來的檔案。

注意事項

1.GridFS不自動處理md5相同的檔案,對于md5相同的檔案,如果想在GridFS中隻有一個存儲,要使用者自已處理。Md5值的計算由用戶端完成。

2.因為GridFS在上傳檔案過程中是先把檔案資料儲存到fs.chunks,最後再把檔案資訊儲存到fs.files中,是以如果在上傳檔案過程中失敗,有可能在fs.chunks中出現垃圾資料。這些垃圾資料可以定期清理掉。