MongoDB+GridFS存储文件方案

GridFS是MongoDB的一个内置功能, 它提供一组文件操作的API以利用MongoDB存储文件, GridFS的基本原理是将文件保存在两个Collection中, 一个保存文件索引, 一个保存文件内容, 文件内容按一定大小分成若干块，

每一块存在一个Document中, 这种方法不仅提供了文件存储, 还提供了对文件相关的一些附加属性(比如MD5值, 文件名等等)的存储。

http://www.mongodb.org/display/DOCS/GridFS

http://www.mongodb.org/display/DOCS/GridFS+Specification

安装文档

https://docs.mongodb.com/manual/installation/

环境搭建

1.安装mongoDb

vim /etc/yum.repos.d/mongodb.repo

如果是64bit的

[mongodb]

name=MongoDB Repository

baseurl=http://downloads-distro.mongodb.org/repo/redhat/os/x86_64/

gpgcheck=0

enabled=1

32bit的系统：

[mongodb]

name=MongoDB Repository

baseurl=http://downloads-distro.mongodb.org/repo/redhat/os/i686/

gpgcheck=0

enabled=1

然后安装, 会提示Y/N：

yum install mongo-10gen mongo-10gen-server # 此时在安装之前会自动更新yum源 mongodb-org与mongo-10gen 10gen 是 MongoDB 原来的名字, 在源里还留着 10gen 只是为了旧包的维护, 现在就不要用 10gen 了

启动：

service mongod start

查看状态

service mongod status

停止

service mongod stop

2.安装nginx及nginx-gridfs

依赖库、工具

# yum -y install pcre-devel openssl-devel zlib-devel

# yum -y install gcc gcc-c++

下载nginx-gridfs源码

# git clone https://github.com/mdirolf/nginx-gridfs.git

# cd nginx-gridfs

# git checkout v0.8

# git submodule init

# git submodule update

下载nginx源码，编译安装。(高版本支持不好)

# wget http://nginx.org/download/nginx-1.4.7.tar.gz

# tar zxvf nginx-1.4.7.tar.gz

# cd nginx-1.4.7

# ./configure --with-openssl=/usr/include/openssl --add-module=../nginx-gridfs/

# make -j8 && make install –j8

解释: make -j4 作业数是在编译的时候指定主机的CPU个数

../nginx-gridfs/ 配置成对应nginx-gridfs的路径

3. 配置nginx-gridfs

vim /usr/local/nginx/conf/nginx.conf

在 server 节点中添加 location 节点

location /img/ {

gridfs testdb

field=filename

type=string;

mongo 192.168.0.159:27017;

}

location /files/ {

gridfs testdb

field=_id

type=objectid;

mongo 192.168.0.159:27017;

}

这里我们的mongo服务在IP 192.168.0.159。

如果不指定 field, 默认为 MongoDB 的自增ID, 且type为int

配置参数介绍：

gridfs：nginx识别插件的关键字

testdb：db名

[root_collection]: 选择collection, 如root_collection=blog, mongod就会去找blog.files与blog.chunks两个块, 默认是fs

[field]: 查询字段, 保证mongdb里有这个字段名, 支持_id, filename, 可省略, 默认是_id

[type]: 解释field的数据类型, 支持objectid, int, string, 可省略, 默认是int

[user]: 用户名, 可省略

[pass]: 密码, 可省略

mongo: mongodb url

启动nginx服务

# /usr/local/nginx/sbin/nginx

可能出现：

Nginx [emerg]: bind() to 0.0.0.0:80 failed (98: Address already in use)

这时可用使用命令关闭占用80端口的程序

sudo fuser -k 80/tcp

GridFS使用

MongoDB提供了一个命令行工具mongofiles可以来处理GridFS, 在bin目录下。

列出所有文件：

mongofiles list

上传一个文件：

mongofiles put xxx.txt

下载一个文件：

mongofiles get xxx.txt

查找文件：

mongofiles search xxx //会查找所有文件名中包含“xxx”的文件

mongofiles list xxx //会查找所有文件名以“xxx”为前缀的文件

参数说明：

–d 指定数据库, 默认是fs, Mongofiles list –d testGridfs

-u –p 指定用户名, 密码

-h 指定主机

-port 指定主机端口

-c 指定集合名, 默认是fs

-t 指定文件的MIME类型, 默认会忽略

使用MongoVUE来查看，管理GridFS

MongoVUE地址：http://www.mongovue.com/

MongoVUE是个免费软件, 但超过15天后功能受限。可以通过删除以下注册表项来解除限制：

[HKEY_CURRENT_USER\Software\Classes\CLSID\{B1159E65-821C3-21C5-CE21-34A484D54444}\4FF78130]

把这个项下的值全删掉就可以了。

<?php

// 初始化gridfs

$conn = new Mongo(); // 连接MongoDB

$db = $conn->photos; // 选择数据库

$collection = $db->getGridFS(); // 取得gridfs对象

// gridfs有三种方式存储文件

// 第一种直接存储文件

$id = $collection->storeFile("./logo.png");

// 第二种存储文件二进制流

$data = file_get_contents("./logo.png");

$id = $collection->storeBytes($data,array("param" => '附加参数将随图片一起存入'));

// 第三种保存直接表单提交的文件$_FILES

$id = $collection->storeUpload('upfile');

// 相当于

$id = $collection->storeFile($_FILES['upfile']['tmp_name']);

//--------------以上是保存图片--下面开始读取图片----------------

// 保存成功后返回$id = md5字符串

$logo = $collection->findOne(array('_id'=>$id)); // 以_id为索引取得文件

header('Content-type: image/png'); // 输出图片头

echo $logo ->getBytes(); // 输出数据流

?>

特别备注：

通过 $id = $collection->storeFile($_FILES['upfile']['tmp_name']); 产生的ID, 是MongoDB的 ID对象, 而不是一个 字符串! 如以下格式：

{

"_id": ObjectId("525418525ba8a18c1b000001"),

"filename": "D:\\php\\xampp\\tmp\\php8116.tmp",

"uploadDate": ISODate("2013-10-08T14:36:02.0Z"),

"length": NumberInt(55862),

"chunkSize": NumberInt(262144),

"md5": "a6f19f3434f0b36bb2611cd4c6d82b35"

}

不过, 我们可以通过 $id = strval($id), 把上述 ID对象字符串化, 如可得到上述的 525418525ba8a18c1b000001 值, 再把这个值存到MySQL数据库中, 到时候可通过这个字符串ID 作为条件, 找到相应的MongoDB资源。

参考代码如下：

$conn = new Mongo(C('127.0.0.1:27017')); //如果设置了密码自己配置DSN

$db=$conn->selectDB('edu_sns'); // 选择数据库

$collection = $db->getGridFS('zk_attach'); // 选择集合，相等于选择数据表

$id=$_GET['id'];

$object=$collection->findOne(array('_id'=>new MongoId($id)));

header('Content-type: image/png');

echo $object->getBytes();

完整流程

1、前端上传文件html index.html

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<title>Mongo Gridfs</title>
</head>
<body>
<form action="upload.php" method="post" enctype="multipart/form-data">
<label for="upfile" >上传图片</label>
<input type="file" id="upfile" name="upfile" />
<input type="submit" />
</form>
</body>
</html>           

2、上传文件进入MongoDB数据库并返回图片的索引ID upload.php

<?php
//上传图片到
header("Content-type:text/html;charset=utf-8");
// 连接Mongo并初始化GFS
// 数据库命名 picDB;集合命名pic_userid
$conn = new MongoClient();
$db = $conn->picDB;
// 取得gridfs对象
$prefix = 'pic';
$collection = $db->getGridFS($prefix);
// 上传图片
if(isset($_FILES['upfile'])){
$id = $collection->storeUpload('upfile');
$id = strval($id);
echo "<p>图片路径为：<font color=red>http://{$_SERVER['HTTP_HOST']}/image.php?id={$id}</font></p>";
}
?>           

3、根据图片ID直接从MongoDB里面获取图片资源并显示 image.php

<?php
// 根据ID索引值将图片资源取出来，即图片二进制数据
$conn = new Mongo();
$db = $conn->picDB;
// 取得gridfs对象
$prefix = 'pic';
$collection = $db->getGridFS($prefix);
$id = $_GET['id'];
$object = $collection->findOne(array('_id' => new MongoId($id)));
header('Content-type:image/jpg');
echo $object->getBytes();
?>           

在upload.php里面万一根据ID无法取出数据! 应该做出提示。

在image.php里面应该添加异常处理, 如果取出的数据格式不是image而是其他格式! 要提前判断type。

最后, 要在MongoDB的使用中添加授权使用! 因为mongo默认是非授权使用的, 也就是访问数据库时不需要提供用户名和密码。

参考类库:

https://github.com/crodas/MongoFS