分布式MinIO集群部署

单机Minio服务存在单点故障，如果是一个有N块硬盘的分布式Minio,只要有N/2硬盘在线，数据就是安全的、可读的。不过需要至少有N/2+1个硬盘在线，才能创建新的对象。

单机 Minio 服务存在单点故障，相反，如果是一个 N 节点的分布式 Minio ,只要有 N/2 节点在线，数据就是安全的。不过需要至少有 N/2+1 个节点来创建新的对象。（例如，一个 8 节点的 Minio 集群，每个节点一块盘，就算 4 个节点宕机，这个集群仍然是可读的，不过你需要 5 个节点才能写数据。）

注意：只要遵守分布式Minio的限制，你可以组合不同的节点和每个节点几块硬盘。比如，你可以使用2个节点，每个节点4块硬盘；也可以使用4个节点，每个节点2块硬盘，诸如此类。

部署分布式MinIO集群，需要注意事项

1、分布式MinIO所有节点是通过MINIO_ROOT_USER和MINIO_ROOT_PASSWORD两个参数相互连接和信任，为此，建议在执行MinIO server命令前，为所有节点设置环境变量MINIO_ROOT_USER和MINIO_ROOT_PASSWORD。如果不设置，则默认是minioadmin/minioadmin。

2、MinIO创建擦除编码集，每个集包含4到16个驱动器。分布式集群提供的驱动器总数必须是这些数字之一的倍数。

3、MinIO选择最大的EC集合大小，该集合将划分为给定的驱动器总数或节点总数——确保保持均匀分布，即每个节点参与每个集合的驱动器数量相等。

4、每个对象都写入一个EC集，因此分布在不超过16个驱动器上。

5、建议所有运行分布式MinIO设置的节点都是同构的，即相同的操作系统、相同的硬盘数量和相同的网络互连。

6、MinIO分布式模式需要新的目录。建议单独挂载磁盘创建数据目录。

7、运行分布式MinIO实例的服务器之间的间隔应该小于15分钟。部署前先启动服务器NTP时间同步，以确保分布式集群内的服务器时间一致。

8、应该定义并导出MINIO_DOMAIN环境变量以支持桶DNS风格。

9、MinIO目前在Windows上的运行尚不成熟，生产环境慎重使用。

minio基本概念
Object：存储到minio的基本对象，如文件、图片、字节流等；
Bucket：用来存储对象的逻辑空间。每个bucket之间的数据是相互隔离的（可以理解为bucket=文件夹）；
Drive：即存储数据的磁盘，在minio启动的时候，以参数的方式传入。minio中所有的对象都会存储在drive中；
Set：即一组drive的集合，分布式部署根据集群规模自动划分一个或多个set，每个set中的drive分布在不同位置；

一个对象存储在一个set中；
一个集群划分多个set；
一个set包含的drive数量是固定的，默认由集群根据系统规模自动计算得出；
一个set中的drive尽可能分布在不同的节点上；      

# mkdir /home/minio/{app,config,data,logs} -p
# cd /home/minio/app
# wget https://dl.min.io/server/minio/release/linux-amd64/minio
# chmod +x minio      

# 保存于 /home/minio/app/run.sh
#!/bin/bash
export MINIO_ACCESS_KEY=admin
export MINIO_SECRET_KEY=admin@minio

/home/minio/app/minio server --config-dir /home/minio/config  --console-address ":9001" \    
http://192.168.100.62:9000/home/minio/data \
http://192.168.100.63:9000/home/minio/data \
http://192.168.100.64:9000/home/minio/data \
http://192.168.100:9000/home/minio/data >/home/minio/logs/start.txt 2>&1 &      

注意：4个节点都重复以上4个部署步骤。待4个节点都成功启动后，集群启动成功。

编写服务脚本
# cat /usr/lib/systemd/system/minio.service

[Unit]
Description=Minio service
Documentation=https://docs.minio.io/

[Service]
WorkingDirectory=/home/minio/app/
ExecStart=/home/minio/app/run.sh
Restart=on-failure
RestartSec=5

[Install]
WantedBy=multi-user.target

# chmod +x /usr/lib/systemd/system/minio.service
# systemctl daemon-reload
# systemctl start minio
# systemctl enable minio      

配置Nginx代理
# cat minio-cluster.conf 
upstream minio_console {
    server 192.168.100.62:9001 max_fails=3 fail_timeout=5s;
    server 192.168.100.63:9001 max_fails=3 fail_timeout=5s;
    server 192.168.100.64:9001 max_fails=3 fail_timeout=5s;
    server 192.168.100.65:9001 max_fails=3 fail_timeout=5s;
}
upstream minio_api {
    server 192.168.100.62:9000 max_fails=3 fail_timeout=5s;
    server 192.168.100.63:9000 max_fails=3 fail_timeout=5s;
    server 192.168.100.64:9000 max_fails=3 fail_timeout=5s;
    server 192.168.100.65:9000 max_fails=3 fail_timeout=5s;
}

server {
    listen          9001;       #或者用80端口也可以
    server_name     0.0.0.0;    #可以用域名
    access_log      /home/minio/logs/minio.com_access.log main;
    error_log       /home/minio/logs/minio.com_error.log warn;
    location / {
        proxy_next_upstream     http_500 http_502 http_503 http_504 error timeout invalid_header;
        proxy_set_header        Host  $host;
        proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_pass              http://minio_console;
        expires                 0;
    }
}

server {
    listen          9000;
    server_name     0.0.0.0;   #可以用域名
    access_log      /home/minio/logs/minio.com_access.log main;
    error_log       /home/minio/logs/minio.com_error.log warn;
    #root            /home/minio/app/;

    location / {
        proxy_next_upstream     http_500 http_502 http_503 http_504 error timeout invalid_header;
        proxy_set_header        Host  $host;
        proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_pass              http://minio_api;
        expires                 0;
    }
}      

​访问的时候就用的NginxIP访问： ​​http://192.168.100.2:9001​​，登录后，就能看到集群4个节点都是OK状态

#下载prometheus监控
https://prometheus.io/download/

tar -zxvf prometheus-2.33.3.linux-amd64.tar.gz
#编辑prometheus.yml文件，添加监控如下
scrape_configs:
- job_name: minio-job
  metrics_path: /minio/v2/metrics/cluster
  scheme: http
  static_configs:
  - targets: ['localhost:9000']

#创建prometheus启动文件
#!/bin/bash
nohup ./prometheus --config.file=prometheus.yml > prometheus.log &      

​

​

https://baijiahao.baidu.com/s?id=1713665693397734792
https://blog.51cto.com/u_10950710/4843738
https://www.cnblogs.com/aresxin/p/minio.html