如何安放你的大檔案，MongoDB GridFS可以幫助你

如何安放你的大檔案，MongoDB GridFS可以幫助你

mangoDB

1 簡介

衆所周知（你不知也當你知），MongoDB是以文檔（Document）組織資料的。除了常用于存儲Json資料，它也是可以存儲普通檔案的。我們可以把一些檔案以BSOON的格式存入MongoDB，十分友善，比較說圖檔、文本檔案等。但MongoDB的BSON Document有大小限制，最大不能超過16MB。這對我們存儲大檔案是不友善的。還好，MongoDB為我們提供了GridFS檔案存儲元件，讓我們可以存儲超過16MB的檔案，小檔案當然也可以了。接下來讓我們一起學習一下這個GridFS存儲。

2 基本原理與概念

GridFS原理比較簡單，就是把大檔案拆成小檔案來存儲而已。當我們存入一個檔案時，預設使用集合fs.files和fs.chunks來存儲檔案。其中fs.files存儲的是檔案的資訊，fs.chunks用來存放檔案内容，以BSON格式存放。

fs.files的一條記錄如下：

{

"_id" : ObjectId("5ec6b44af3760d5999bd1c91"),
"length" : NumberLong(1048576),
"chunkSize" : 261120,
"uploadDate" : ISODate("2020-05-21T17:03:06.217Z"),
"filename" : "pkslow.txt",
"metadata" : {}           

}

字段解釋：

_id：主鍵ID；

length：檔案大小；

chunkSize：chunk的大小，決定要分幾個chunk來存放檔案；

uploadDate：檔案上傳時間；

filename：檔案名；

metadata：檔案其它資訊，可以自定義加上，這樣有利于後續的檢索和使用等。

fs.chunks的一條記錄如下：

"_id" : ObjectId("5ec6b44af3760d5999bd1c94"),
"files_id" : ObjectId("5ec6b44af3760d5999bd1c91"),
"n" : 2,
"data" : { "$binary" : "xxxxxxxxx", "$type" : "00" }           

files_id：所存内容對應的檔案ID，可以看到與fs._id的值是一樣的；

n：第幾個chunk的索引，從0開始；

data：檔案内容；

從感觀上看了兩個集合的字段，相信大家基本知道GridFS是怎麼組織資料的了。當我們存入一個檔案時，如果檔案較小，小于chunkSize，則會把檔案資訊存入fs.files，隻有一條記錄；檔案内容會存入fs.chunks，也隻有一條記錄。如果存的檔案大于chunkSize，也會在fs.files生成一條記錄，但在fs.chunks中會生成多條記錄來存放檔案内容。如下圖所示：

MongoDB為我們建立了相關索引，可以加速查詢，如fs.files的檔案名和上傳時間；fs.chunks的檔案ID和n。

3 常用mongofiles指令

講了基本原理，我們來實際操作一下，使用MongoDB給我們準備好的指令來做一些操作。當然，首先要有一個安裝好的資料庫，可以參考《用Docker安裝一個MongoDB最新版玩玩》。

我們都是使用mongofiles指令進行操作的，需要指定比較多的參考，例如下面的指令用于列出所有檔案：

mongofiles --username user --password 123456 --host 127.0.0.1 --port 27017 --authenticationDatabase admin --db testdb list

為了不要每次都輸入這麼長的指令，我們加個别名：

alias mf='mongofiles --username user --password 123456 --host 127.0.0.1 --port 27017 --authenticationDatabase admin --db testdb'

列出檔案：

mf list

存入檔案：存入的檔案名與本地檔案名一樣。

mf put pksow.txt

讀取檔案：

mf get pkslow.txt

查找檔案：

mf search pkslow

删除檔案：

mf delete pkslow.txt

指定自定義檔案名：

mf --local pkslow.txt put /com/pkslow.txt

4 總結

發揮你的想象力，GridFS能做的事很多，存圖檔、音頻、視訊等，有時我們隻想檢視大檔案的部分内容，也能友善實作。

注：本文使用的MongoDB版本為4.2.1。

原文位址

https://www.cnblogs.com/larrydpk/p/12934745.html