在SpringBoot应用中使用Minio作为云存储服务

KevinBlandy · 2020 年6 月 19 日 04:04

在SpringBoot应用中使用Minio作为云存储服务

除去阿里云之类的公有云，自己搭建一个私有云也是蛮不错的，虽然访问速率受到服务器带宽限制，但是它的存储和访问都是免费的。对于一般的APP来说，够够的。

Minio

Minio是什么

Minio是Apache License v2.0下发布的对象存储服务器
它与Amazon S3云存储服务兼容
它最适合存储非结构化数据: 如照片, 视频, 日志文件, 备份和容器/VM映像
对象的大小可以从几KB到最大5TB
Minio服务器足够轻, 可以与应用程序堆栈捆绑在一起, 类似于NodeJS, Redis和MySQL

官方地址

Github

中文文档
https://docs.min.io/cn/minio-quickstart-guide.html

安装

Minio可以使用Docker或者二进制文件的方式进行安装部署。

推荐使用Docker，这种方式便捷好维护。在开始安装之前。确定你的服务器正确的安装了Docker。

安装指令

docker run -p 9000:9000 --name minio1 \
-e "MINIO_ACCESS_KEY=AKIAIOSFO******" \
-e "MINIO_SECRET_KEY=wJalrXUtnFEMI/K******" \
-v /mnt/data:/data \
-v /mnt/config:/root/.minio \
minio/minio server /data

MINIO_ACCESS_KEY 和 MINIO_SECRET_KEY 可以理解为访问web控制台和api接口的账户名和密码。千万要认真设置。
共享卷的设置
- -v /mnt/data:/data \ ，指定数据存储在宿主机的 /mnt/data
- -v /mnt/config:/root/.minio \，指定宿主机的配置文件目录 /mnt/config

耐心等待安装完成，安装成功如下图。Minio在 9000 端口提供服务

Web控制台的基本使用

打开控制台：http://{host}:9000/minio/，输入用户名和密码（安装时设置的 MINIO_ACCESS_KEY
和 MINIO_SECRET_KEY）登录到主页面

整个后台干净，简单。这也是Minio迷人的一个地方

Bucket的添加

Bucket，表示一个仓库，从存储上来说，可以理解为一个目录。可以通过右下角的圆点菜单来创建多个。
在Bucket中，可以通过顶部的路径菜单添加路径，可以通过右下角的圆点菜单，上传文件到当前路径。

Bucket的匿名读写权限

Bucket中的资源，默认情况下，不允许匿名用户访问。鼠标指向Bucket，可以从左边菜单中选择Edit Policy，添加Bucket的匿名访问权限。
可以添加多个权限，使用不同的访问 prefix 区分。

一般都是允许匿名读，所以添加一个 Rea Only 记录即可

资源的访问路径

http://{host}:9000/{bucket}/{file}

例如我在名为images的bucket中有一张图片在路径 /2020/06/19 目录下，名字叫做 58c4e5c7fd6714e4fa7cc5527d9091080207633d.png
则访问路径为：
http://{host}:9000/images/2020/06/19/58c4e5c7fd6714e4fa7cc5527d9091080207633d.png

授予文件的临时读取权限

有些特定的资源，不允许匿名用户随意的访问。此时可以删除掉bucket的Edit Policy。不允许匿名用户随意访问。

在指定资源的菜单中，选择Share Object，创建一个资源临时的访问链接。并且可以设置过期时间

在SpringBoot中使用Minio

Minio提供的SDK

<!-- https://mvnrepository.com/artifact/io.minio/minio -->
<dependency>
    <groupId>io.minio</groupId>
    <artifactId>minio</artifactId>
    <version>7.0.2</version>
</dependency>

把基本信息配置在yaml

minio:
  # bucket名称
  bucket: "images"
  # Minio服务地址
  host: "http://oss.springboot.io:9000"
  # 访问路径
  url: "${minio.host}/${minio.bucket}/"
  # MINIO_ACCESS_KEY
  access-key: "a6ac0d8d-b1d7-***************"
  # MINIO_SECRET_KEY
  secret-key: "b1c35d89-b1d7-***************"

MinioHelper

import java.io.IOException;
import java.io.InputStream;
import java.nio.charset.StandardCharsets;
import java.security.InvalidKeyException;
import java.security.NoSuchAlgorithmException;

import org.springframework.beans.factory.annotation.Value;
import org.springframework.stereotype.Component;
import org.springframework.web.multipart.MultipartFile;
import org.springframework.web.util.UriUtils;

import io.minio.MinioClient;
import io.minio.PutObjectOptions;
import io.minio.errors.ErrorResponseException;
import io.minio.errors.InsufficientDataException;
import io.minio.errors.InternalException;
import io.minio.errors.InvalidBucketNameException;
import io.minio.errors.InvalidEndpointException;
import io.minio.errors.InvalidPortException;
import io.minio.errors.InvalidResponseException;
import io.minio.errors.RegionConflictException;
import io.minio.errors.XmlParserException;

@Component
public class MinioHelper {

	@Value(value = "${minio.bucket}")
	private String bucket;

	@Value(value = "${minio.host}")
	private String host;

	@Value(value = "${minio.url}")
	private String url;

	@Value(value = "${minio.access-key}")
	private String accessKey;

	@Value(value = "${minio.secret-key}")
	private String secretKey;

	public String putObject(MultipartFile multipartFile) throws InvalidEndpointException, InvalidPortException,
			IOException, InvalidKeyException, ErrorResponseException, IllegalArgumentException,
			InsufficientDataException, InternalException, InvalidBucketNameException, InvalidResponseException,
			NoSuchAlgorithmException, XmlParserException, RegionConflictException {
		MinioClient minioClient = new MinioClient(this.host, this.accessKey, this.secretKey);

		// bucket 不存在，创建
		if (!minioClient.bucketExists(this.bucket)) {
			minioClient.makeBucket(this.bucket);
		}
		try (InputStream inputStream = multipartFile.getInputStream()) {
			
			// 上传文件的名称
			String fileName = multipartFile.getOriginalFilename();
			
			// PutObjectOptions，上传配置(文件大小，内存中文件分片大小)
			PutObjectOptions putObjectOptions = new PutObjectOptions(multipartFile.getSize(), PutObjectOptions.MIN_MULTIPART_SIZE);
			// 文件的ContentType
			putObjectOptions.setContentType(multipartFile.getContentType());
			minioClient.putObject(this.bucket, fileName, inputStream, putObjectOptions);
			
			// 返回访问路径
			return this.url + UriUtils.encode(fileName, StandardCharsets.UTF_8);
		}
	}
}

这里仅仅实现了简单的文件上传，SDK具备一些对Minio资源管理的API。需要自己去学习。

TestController

import java.io.IOException;
import java.security.InvalidKeyException;
import java.security.NoSuchAlgorithmException;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.PostMapping;

import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;
import org.springframework.web.multipart.MultipartFile;

import io.minio.errors.ErrorResponseException;
import io.minio.errors.InsufficientDataException;
import io.minio.errors.InternalException;
import io.minio.errors.InvalidBucketNameException;
import io.minio.errors.InvalidEndpointException;
import io.minio.errors.InvalidPortException;
import io.minio.errors.InvalidResponseException;
import io.minio.errors.RegionConflictException;
import io.minio.errors.XmlParserException;
import io.springboot.twitter.minio.MinioHelper;

@RestController
@RequestMapping("/test")
public class TestController {
	
	@Autowired
	MinioHelper minioHelper;
	
	@PostMapping("/upload")
	public Object upload (@RequestParam("file") MultipartFile multipartFile) throws InvalidKeyException, InvalidEndpointException, InvalidPortException, ErrorResponseException, IllegalArgumentException, InsufficientDataException, InternalException, InvalidBucketNameException, InvalidResponseException, NoSuchAlgorithmException, XmlParserException, RegionConflictException, IOException {
		return this.minioHelper.putObject(multipartFile);
	}
}

测试上传

浏览器访问

网关

对于云存储，很重要的一点就是网关，譬如防盗链等安全设置，都依赖于网关。Minio支持N种网关，文档都有给出示例。

可以通过Nginx之类的作为代理服务器，通过Nginx来配置允许访问域名。