天天看點
傳回

SpringBoot內建分布式對象存儲(分布式檔案)MinIO

一、什麼是MinIO？

一句話：MinIO是高性能、可擴充、雲原生支援、操作簡單、開源的分布式對象存儲産品。

你可以把它和FastDFS、HDFS作為類比，但它比其它都更簡單，極簡是MinIO的設計初衷之一，而且他的性能很好。

當然也有很多商用的對象存儲服務，如阿裡的OSS、騰訊的COS，無需自己維護，但需要付費。自建對象存儲還是香。

官網上的一句話：在中國：阿裡巴巴、騰訊、百度、中國聯通、華為、中國移動等等9000多家企業也都在使用MinIO産品

官網：http://www.minio.org.cn/

二、如何安裝部署？

下載下傳位址：http://www.minio.org.cn/download.shtml

啟動指令

# windows
minio.exe server http://127.0.0.1/E:/person/article-tools/minio/data0 http://127.0.0.1/E:/person/article-tools/minio/data1 http://127.0.0.1/E:/person/article-tools/minio/data2 http://127.0.0.1/E:/person/article-tools/minio/data3
  • 這裡面指定了4個分區(至少4個)，具體可以根據您的實際情況進行配置。可以四台主機各一個資料存放位置，也可以兩台主機各兩個存放位置。我這邊是四個存放位置都在一台主機上。
  • 格式是 ip + 存放位置，如

    http://127.0.0.1/E:/person/article-tools/minio/data0

     中

    http://127.0.0.1/

     為ip位址，

    E:/person/article-tools/minio/data0

     為存放位置。

啟動成功後 預設通路位址 http://127.0.0.1:9000/，預設賬号和密碼都是：

minioadmin

,建立一個

test

的桶(bucket)。

三、SpringBoot 內建 MinIO

pom.xml

如下

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.3.2.RELEASE</version>
        <relativePath/>
    </parent>

    <modelVersion>4.0.0</modelVersion>
    <groupId>com.llh.minio</groupId>
    <artifactId>minio-demo</artifactId>
    <version>1.0.0</version>
    <name>minio-demo</name>
    <description>minio-demo</description>

    <properties>
        <java.version>1.8</java.version>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
        <spring-boot.version>2.3.7.RELEASE</spring-boot.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>io.minio</groupId>
            <artifactId>minio</artifactId>
            <version>8.2.2</version>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <version>1.18.20</version>
            <scope>provided</scope>
        </dependency>

    </dependencies>

</project>

MinioConfiguration

類

package com.llh.minio.config;

import io.minio.MinioClient;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

@Configuration
public class MinioConfiguration {

    private static final String END_POINT = "http://localhost:9000";

    private static final String USERNAME = "minioadmin";

    private static final String PASSWORD = "minioadmin";

    @Bean
    public MinioClient minioClient() {
        return new MinioClient.Builder()
                .endpoint(END_POINT)
                .credentials(USERNAME, PASSWORD)
                .build();
    }
}
  • 這裡就是配置端口、使用者名、密碼，注入

    MinioClient

TestController

類

package com.llh.minio.controller;

import io.minio.GetPresignedObjectUrlArgs;
import io.minio.MinioClient;
import io.minio.PutObjectArgs;
import io.minio.http.Method;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;
import org.springframework.web.multipart.MultipartFile;

import javax.annotation.Resource;
import java.util.Objects;
import java.util.UUID;
import java.util.concurrent.TimeUnit;

@RestController
public class TestController {
    @Resource
    private MinioClient minioClient;

    // 和背景桶名對應
    private static final String TEST_BUCKET = "test";

    @PostMapping("upload")
    public String upload(@RequestParam(name = "file") MultipartFile file) {
        try {
            int idx = Objects.requireNonNull(file.getOriginalFilename()).lastIndexOf(".");
            String suffix = file.getOriginalFilename().substring(idx + 1);
            String fileName = UUID.randomUUID() + "." + suffix;

            // 儲存檔案
            minioClient.putObject(PutObjectArgs.builder()
                    .stream(file.getInputStream(), file.getSize(), PutObjectArgs.MIN_MULTIPART_SIZE)
                    .object(fileName)
                    .contentType(file.getContentType())
                    .bucket(TEST_BUCKET)
                    .build());
            return fileName;
        } catch (Exception e) {
            e.printStackTrace();
            return "";
        }
    }

    @GetMapping("getUrl")
    public String getUrl(@RequestParam(name = "path") String path) {
        try {
            // 擷取檔案通路位址 7天失效
            String url = minioClient.getPresignedObjectUrl(GetPresignedObjectUrlArgs.builder()
                    .bucket(TEST_BUCKET)
                    .object(path).
                    method(Method.GET)
                    .expiry(7, TimeUnit.DAYS).build());
            return url;
        } catch (Exception e) {
            e.printStackTrace();
            return "";
        }
    }
}
  • 這裡是上傳檔案接口 和 根據path傳回通路位址接口
  • 一般我們資料庫存放的是檔案名，需要通路的時候調用

    getUrl

     方法擷取全路徑通路位址。

MinioDemoApplication

啟動類

package com.llh.minio;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.boot.web.servlet.MultipartConfigFactory;
import org.springframework.context.annotation.Bean;
import org.springframework.util.unit.DataSize;

import javax.servlet.MultipartConfigElement;

/**
 * @author 小虎哥的技術部落格
 */
@SpringBootApplication
public class MinioDemoApplication {

    public static void main(String[] args) {
        SpringApplication.run(MinioDemoApplication.class, args);
    }

    @Bean
    public MultipartConfigElement multipartConfigElement() {
        MultipartConfigFactory factory = new MultipartConfigFactory();
        factory.setMaxFileSize(DataSize.ofMegabytes(1024));
        factory.setMaxRequestSize(DataSize.ofMegabytes(1024));
        return factory.createMultipartConfig();
    }
}
  • 這裡配置單檔案上傳檔案大小為1G，否則檔案太大上傳會失敗。

四、Postman測試

上傳檔案

  • http://localhost:8080/upload
    SpringBoot內建分布式對象存儲(分布式檔案)MinIO
  • 請求頭加上

    Content-Type

     :

    multipart/form-data
SpringBoot內建分布式對象存儲(分布式檔案)MinIO
  • Body 類型選擇為

    File
  • 上傳成功傳回檔案路徑

擷取通路/下載下傳位址

  • http://localhost:8080/getUrl?path=xxxpath
    SpringBoot內建分布式對象存儲(分布式檔案)MinIO
  • 請求傳回可以直接通路的位址

五、MinIO檔案格式

  • 四個存放位置
    SpringBoot內建分布式對象存儲(分布式檔案)MinIO
  • 可以測試删除其中一半的存放位置，它過一會兒就自動恢複了，比如删除data0和data1,幾分鐘它就自動重新建立了檔案，并且裡面的内容也恢複了。
  • 有意思的是上傳的單個檔案變成了檔案夾
    SpringBoot內建分布式對象存儲(分布式檔案)MinIO
  • 點選到裡面發現單個檔案被拆分成了許多個小塊
    SpringBoot內建分布式對象存儲(分布式檔案)MinIO

那麼要下載下傳檔案隻能通過官方的工具或者接口。

六、Nginx代理

生産環境中您是在多台實體機部署MinIO，每台實體機都有單獨的IP，但是入口隻能有一個,是以需要代理。下面是Nginx代理的配置。

# http
upstream miniopass { 
    server localhost:9000; 
}

# server
location / {
    proxy_set_header Host $http_host;
    proxy_pass http://miniopass;
    client_max_body_size 1000m;
}

七、結語

有不懂的地方可以在評論區留言，我們一起進步！

源碼位址：https://github.com/tigerleeli/xiaohuge-blog/tree/master/spring-boot-minio

同步微信公衆号(還沒正式營運)：小虎哥的技術部落格

後端系列 minio springboot 分布式檔案 對象存儲
上一篇: 分布式對象存儲服務Minio的可觀測性方案
下一篇: 模拟Post登陸帶驗證碼的網站

繼續閱讀