.net core集成Minio，构建一个文件存储的基础设施

背景

先简单介绍下MinIO吧，官方给的介绍是它是一种高性能、S3 兼容的对象存储。它专为大规模 AI/ML、数据湖和数据库工作负载而构建，并且它是由软件定义的存储。不需要购买任何专有硬件，就可以在云上和普通硬件上拥有分布式对象存储。

MinIO拥有开源 GNU AGPL v3 和商业企业许可证的双重许可。

翻译一下，就是好使，能白嫖，能私有化部署。

这里提到的S3，是亚马逊提供的对象存储服务，S3兼容性是云原生应用程序的硬性要求，像国内流行的阿里云对象存储（OSS），腾讯云对象存储（COS），都是兼容S3的。

之所以要搭建私有化的对象存储服务，主要考虑是2个，一是原始的文件存储方案并不安全，也不能实现高可用，而且在使用场景上有很多局限，比如某个资源想要增加访问权限，或者想定期删除，又或者想使访问权限定期关闭，那就要在代码层面增加很多逻辑，非常不友好。而使用MinIO的话，这些都会变得非常简单。

在一个考虑是因为MinIO的可扩展性非常强大，且提供了丰富的API接口，只要条件允许，我甚至很方便的可以自建一个无限大的云存储服务出来，配合CDN等边缘加速技术，可以高效支撑团队内几乎所有涉及文件存储和访问的场景。

真正建立属于自己团队的存储基础设施。

安装

MinIO的安装过程，官方文档（MinIO | S3 Compatible Storage for AI）上有非常详细的说明，我这里还是简单的镜像一下。

官方文档里，分别提供了Kubernetes，Docker，Linux，macOS，Windows，5种环境的安装方案，我使用过docker，Linux，windows这三种，这里就贴一下Linux的安装方案，还是在WSL2环境下。

下载文件

wget https://dl.min.io/server/minio/release/linux-amd64/archive/minio_20240913202602.0.0_amd64.deb -O minio.deb
sudo dpkg -i minio.deb

启动服务

mkdir ~/minio
minio server ~/minio --console-address :9001

启动完成后，我们会看到这样的界面⬇️

其中，webui给出的链接是可以直接访问的

输入控制台给出的账号密码，就可以登录进去了。

注意，这里介绍的这是基于开发或者测试环境的快速部署方案，如果要在生产环境中来部署MinIO集群，那不是本文讨论的范围，感兴趣的可以参照官方文档的详细说明。

传送门👉：

MinIO Object Storage for Linux — MinIO Object Storage for Linux

对接

安装SDK

找一个测试项目或者新建个项目，安装上MinIO的sdk。

我这里还是用的上次的测试项目，项目文件长这样⬇️

  <ItemGroup><PackageReference Include="Dapper" Version="2.1.35" /><PackageReference Include="DotNetCore.CAP" Version="8.2.0" /><PackageReference Include="DotNetCore.CAP.Dashboard" Version="8.2.0" /><PackageReference Include="DotNetCore.CAP.Kafka" Version="8.2.0" /><PackageReference Include="DotNetCore.CAP.PostgreSql" Version="8.2.0" /><PackageReference Include="Minio" Version="6.0.3" /></ItemGroup>

注入服务

引入sdk后，在配置文件中增加一个类似这样的配置，如果是测试阶段在代码中直接配置也行。

"MinioSettings": {"Endpoint": "{宿主机分配给wsl的ip}:9000","AccessKey": "在minio面板中获取","SecretKey": "在minio面板中获取","UseSSL": false
}

这里面用到的accessKey和secretKey，涉及到访问权限，如果你了解过AWS的IAM相关知识点，就一目了然了。

这里我们不讨论这个话题，直接去获取相关的配置信息

在这个页面去创建这样一个access key即可。

或者我们也可以到Identity栏目，配置用户信息，用户组，组权限等信息，也可以生成一个更加具体的access key。

补充完配置信息后，就可以去项目中注入服务了。

关键代码如下

var minioSetting = builder.Configuration.GetSection("MinioSettings").Get<MinioSettings>();
builder.Services.AddMinio(x =>
{x.WithEndpoint(minioSetting.Endpoint).WithCredentials(minioSetting.AccessKey, minioSetting.SecretKey).WithSSL(minioSetting.UseSSL).Build();
});

这里，因为我们是在测试阶段，SSL协议可以先关掉，降低一些心智负担。

编写接口

服务注入完成后，就可以来编写一个测试接口了。

这里为了方便，我直接创建了一个支持分片上传的接口。

[HttpPost]
public async Task<IActionResult> Upload(FilePartModel model)
{try{  if (model.file == null || model.file.Length <= 0)return BadRequest("No file found.");await CreateBucketIfNotExists(model.bucket);using (var stream = model.file.OpenReadStream()){await _minioClient.PutObjectAsync(new PutObjectArgs().WithBucket(model.bucket).WithObject(model.savedFileName).WithContentType(model.contentType).WithObjectSize(stream.Length).WithStreamData(stream));Console.ForegroundColor = ConsoleColor.Yellow;Console.WriteLine($"{model.savedFileName} is uploaded successfully");Console.ForegroundColor = ConsoleColor.White;}if (model.merged){var listArgs = new ListObjectsArgs().WithBucket(model.bucket).WithPrefix(model.uploadId).WithRecursive(true).WithVersions(false);using (var mergedStream = new MemoryStream()){await foreach (var obj in _minioClient.ListObjectsEnumAsync(listArgs).ConfigureAwait(false)){var partStream = await _minioClient.GetObjectAsync(new GetObjectArgs().WithBucket(model.bucket).WithObject(obj.Key).WithCallbackStream((stream) =>{stream.CopyTo(mergedStream);}));await _minioClient.RemoveObjectAsync(new RemoveObjectArgs().WithBucket(model.bucket).WithObject(obj.Key));}// 将合并后的流写入到MinIOmergedStream.Seek(0, SeekOrigin.Begin);await _minioClient.PutObjectAsync(new PutObjectArgs().WithBucket(model.bucket).WithObject(model.savedFileName).WithContentType(model.contentType).WithObjectSize(mergedStream.Length).WithStreamData(mergedStream));}}var respData = new FileResponseDto(){fileIndex = model.chunkIndex,Completed = model.completed,path = "未完成",};if (model.completed){// 上传完成后返回一个临时的访问链接，有效期24小时PresignedGetObjectArgs args = new PresignedGetObjectArgs().WithBucket(model.bucket).WithObject(model.savedFileName).WithExpiry(60 * 60 * 24);string temporaryUrl = await _minioClient.PresignedGetObjectAsync(args);            respData.path = temporaryUrl;}                return Json(_resp.success(respData, "上传成功"));}catch (Exception ex){Console.WriteLine($"Failed to upload part {model.chunkIndex} to MinIO: {ex.Message}");}return Json(_resp.error("上传失败"));
}

简单说明一下，我这里因为是测试，所以分段代码和合并代码的逻辑写到了一起，实际情况中，可以引入一些其他的流程或方法来拆解这个接口。比如，上传分段文件是一个单独的接口，合并文件又是一个单独的接口，还可以引入缓存或者队列结构，当文件上传完成后，发布一个事件，来完成一些数据库的写入业务等等。