k8s glusterfs,GlusterFS Volume 添加ACL支持

glusterfs

我们复用 kubernetes 的三台主机做 GlusterFS 存储。

我们直接在物理机上使用 yum 安装，如果你选择在 kubernetes 上安装，请参考 https://github.com/gluster/gluster-kubernetes/blob/master/docs/setup-guide.md。

GlusterFS 中的 volume 的模式有很多种，包括以下几种：

分布卷(默认模式)：即 DHT, 也叫 分布卷: 将文件以 hash 算法随机分布到 一台服务器节点中存储。

复制模式：即 AFR, 创建 volume 时带 replica x 数量: 将文件复制到 replica x 个节点中。

条带模式：即 Striped, 创建 volume 时带 stripe x 数量： 将文件切割成数据块，分别存储到 stripe x 个节点中 (类似 raid 0)。

分布式条带模式：最少需要 4 台服务器才能创建。 创建 volume 时 stripe 2 server = 4 个节点： 是 DHT 与 Striped 的组合型。

分布式复制模式：最少需要 4 台服务器才能创建。 创建 volume 时 replica 2 server = 4 个节点：是 DHT 与 AFR 的组合型。

条带复制卷模式：最少需要 4 台服务器才能创建。 创建 volume 时 stripe 2 replica 2 server = 4 个节点： 是 Striped 与 AFR 的组合型。

三种模式混合： 至少需要 8 台 服务器才能创建。 stripe 2 replica 2 , 每 4 个节点 组成一个 组。

这几种模式的示例图参考 GlusterFS Documentation。

因为我们只有三台主机，在此我们使用默认的分布卷模式。请勿在生产环境上使用该模式，容易导致数据丢失。

官方的文档见https://github.com/kubernetes/examples/tree/master/staging/volumes/glusterfs.

以下用到的所有 yaml 和 json 配置文件可以在 glusterfs 中找到。注意替换其中私有镜像地址为你自己的镜像地址。

因为我们 glusterfs 跟 kubernetes 集群复用主机，因为此这一步可以省去。

PersistentVolume（PV）和 PersistentVolumeClaim（PVC）是 kubernetes 提供的两种 API 资源，用于抽象存储细节。管理员关注于如何通过 pv 提供存储功能而无需关注用户如何使用，同样的用户只需要挂载 PVC 到容器中而不需要关注存储卷采用何种技术实现。PVC 和 PV 的关系跟 pod 和 node 关系类似，前者消耗后者的资源。PVC 可以向 PV 申请指定大小的存储资源并设置访问模式。

PV 属性

storage 容量

读写属性：分别为

ReadWriteOnce：单个节点读写；

ReadOnlyMany：多节点只读 ；

ReadWriteMany：多节点读写

PVC 属性

访问属性与 PV 相同

容量：向 PV 申请的容量 <= PV 总容量

GlusterFS ACL 权限设置

2019-09-23 0  By ADMIN

在使用 GlusterFS 集群服务过程中，有时候我们需要对其中一个目录单独设置特殊权限；这其中可能会有个坑等着你。

设置目录特殊的权限，有两种方式：

客户端挂载 GlusterFS 的 Volume 后，按照设置本地文件目录的方式设置。PS:只在本机生效，不影响 GlusterFS 集群。

客户端通过 setfacl 对 GlusterFS 文件集群设置目录特殊权限。PS:GlusterFS 集群生效，影响所有客户端。

大家根据具体情况，选择合适的方式。其中第一种方式，就不再赘述，相信大家都会。这里主要说明一下第二种。

博主使用 Glusterfs 集群服务是为 Kubernetes 容器编排服务提供持久化共享存储的。在公司项目容器化部署完成后，开始做 Kubernetes 集群的监控工作；使用的是 Prometheus 监控服务。因为之前就是使用的 GlusterFS 做的共享存储，没有出现什么问题，就打算用其做 Prometheus 的文件存储。但是在部署 Prometheus 过程中，总是报错，提示目录没有权限。

GlusterFS 服务使用ROOT账户运行，默认连接到 GlusterFS 的也是root账户；其创建目录的属主和属组都是root，并且禁止其他用户的写入。

Prometheus 的容器镜像默认以普通账户运行；所以此时 Prometheus 容器中是普通账户要在 GlusterFS 的ROOT账户的目录中写入数据，所以被拒绝了。

根据这种情况，我们应该选择第二种方式。对 GlusterFS 集群设置全局ACL 规则，使所有连接 GlusterFS 服务的客户端的普通账户对此目录默认都有写权限。

GlusterFS ACL 规则配置；参见https://docs.gluster.org/en/latest/Administrator%20Guide/Access%20Control%20Lists/

前提条件：当前使用的系统支持ACL 规则。

进入 Glusterfs 的集群终端，对 Volume 开启 ACL 规则支持。

客户端绑定 GlusterFS 的Volume 时，增加支持ACL的选项，使用下面的命令：

<code># mount –t glusterfs -o acl</code>

例子：

<code># mount -t glusterfs -o acl 198.192.198.234:glustervolume /mnt/gluster</code>

这时就可以通过此客户端，对 GlusterFS 的 Volume 中的目录和文件设置ACL规则了；设置的规则会在整个 Volume 中生效。

设置其他用户对目录有读写权限：

<code>setfacl -R -m o::rw- test/</code>

这样其他的客户端绑定此 Volume 后，也会发现 其他用户对 test 目录也有读写权限。

上文就是过程介绍了,按照文档操作，就可以对 GlusterFS Volume 中的文件设置ACL规则，成功部署 Prometheus 容器的持久化存储了。