Vue + SpringBoot 实现文件的断点上传、秒传，存储到Minio

一、前端

1. 计算文件的md5值

前端页面使用的elment-plus的el-upload组件。

    <el-upload action="#" :multiple="true" :auto-upload="false" :on-change="handleChange" :show-file-list="false"><FileButton content="上传文件" type="primary" class="file-button" /></el-upload>

当上传文件后，会调用handleChange 方法，可以在这里进行文件相关的操作。

//处理文件上传
const handleChange = async (uploadFile) => {//文件名字let fileName = uploadFile.name//文件的大小const fileSize = uploadFile.size || 0//当前的文件对象let fileItem = {}fileItem.fileName = fileNamefileItem.fileSize = fileSizefileItem.state = 1  //解码中fileItem.progress = 0  //进度是0fileItem.filePid = 102903232fileItem.fileMd5 = ""fileItem.uploadSize = 0fileUploadList.value.addFile(fileItem)//弹框显示isVisible.value = true//获得文件的md5if (uploadFile.raw) {await generateMD5OfFile(uploadFile.raw).then(res => {fileItem.fileMd5 = res})}fileUploadList.value.addMd5(fileItem.fileName, fileItem.fileMd5)fileUploadList.value.changeFileState(fileItem.fileName, 2)//分片上传let chunkTotals = Math.ceil(fileSize / chunkSize);//分片上传if (chunkTotals > 0) {for (let chunkNumber = 0, start = 0; chunkNumber < chunkTotals; chunkNumber++, start += chunkSize) {//文件最后的endlet end = Math.min(fileSize, start + chunkSize);// el-mement - plus中，上传的文件就在raw里面const files = uploadFile.raw?.slice(start, end)//上传的结果const result = await uploadFileToServer(files, chunkNumber + 1, chunkTotals, fileName , getCurrentId(), fileItem.fileMd5,userId)console.log(result.data)console.log(result.data.data)if (result.data.data.status === 1) {// console.log("上传中")//上传的进度fileUploadList.value.changeProgress(fileItem.fileName, ((end / fileSize) * 100).toFixed(1))//修改已经上传完成的文件大小fileUploadList.value.changeUploadSize(fileItem.fileName, end)} else if (result.data.data.status === 3) {// console.log("上传成功！"),这里是弹窗显示的文件上传进度，可以适当修改fileUploadList.value.changeFileState(fileItem.fileName, 3)  //上传完成fileUploadList.value.changeProgress(fileItem.fileName, 100)  // 进度100%//通过main，进行刷新$emit("addChangeNum")return ; //结束} else {message("上传失败", 'error')return;  //结束}}}
}

计算文件的MD5值

//计算文件的md5
function generateMD5OfFile(file) {return new Promise((resolve, reject) => {let blobSlice = File.prototype.slice || File.prototype.mozSlice || File.prototype.webkitSlice,                        // Read in chunks of 2MBchunks = Math.ceil(file.size / chunkSize),currentChunk = 0,spark = new SparkMD5.ArrayBuffer(),fileReader = new FileReader();fileReader.onload = function (e) {console.log('read chunk nr', currentChunk + 1, 'of', chunks);spark.append(e.target.result);                   // Append array buffercurrentChunk++;if (currentChunk < chunks) {loadNext();} else {resolve(spark.end())}};fileReader.onerror = function () {reject('MD5 calc error')};function loadNext() {let start = currentChunk * chunkSize,end = ((start + chunkSize) >= file.size) ? file.size : start + chunkSize;fileReader.readAsArrayBuffer(blobSlice.call(file, start, end));}loadNext();})
}

2.计算文件切片数量

自定义文件切片大小

//默认分片大小
const chunkSize = 5 * 1024 * 1024

3.分片上传文件

上传文件到服务器

// 上传文件到服务器
const uploadFileToServer = async (file, chunkNumber, chunkTotal, fileName,filePid, fileMd5,userId) => {const form = new FormData();// 这里的data是文件form.append("file", file);form.append("chunkNumber", chunkNumber);form.append("chunkTotal", chunkTotal);form.append("fileName", fileName)form.append("fileMd5", fileMd5)form.append("filePid", filePid)form.append("userId", userId)var result = await axios({url: env_server_production + '/file/upload',headers: { 'Content-Type': 'multipart/form-data' },method: "post",timeout: 1000000,data: form})return result
}

4.实现相关文件的预览

可以简单的实现对一些文件的预览，比如图片、视频、word、pdf等等。

pdf:

等等

这里使用的是vue-office

<template><div class="preview-body"><!-- word --><vue-office-docx v-if="getFileType() == 1" :src="getFileUrl()" style="height: 400px;" @rendered="renderedHandler"@error="errorHandler" /><!-- pdf --><vue-office-pdf v-else-if="getFileType() == 2" :src="getFileUrl()" style="height: 400px;"@rendered="renderedHandler" @error="errorHandler" /><!-- iamge --><div v-else-if="getFileType() == 3"><el-image :src="getFileUrl()" style="height: 100px; width: 100px;" :zoom-rate="1.2" :max-scale="7":min-scale="0.2" :preview-src-list="imageList" :initial-index="4" /><br><el-text style="margin-left: 0px;" link type="primary">点击图片查看详情</el-text></div><!-- 不支持显示 --><div v-else-if="getFileType() == 4"><br>该文件不支持在线浏览，请下载后查看!</div><!-- 视频 --><div v-else-if="getFileType() == 5"><video autoplay width="1200px" height="400px" controls :src="getFileUrl()"id="myVideo"></video></div><!-- 文本显示 --><div v-else><el-scrollbar height="400px" class="document-preview"><pre>{{ documentContent }}</pre></el-scrollbar></div></div>
</template><script setup>
//引入相关样式
import VueOfficeDocx from '@vue-office/docx'
import VueOfficePdf from '@vue-office/pdf'
import '@vue-office/docx/lib/index.css'
import { ref } from 'vue'
import axios from 'axios';const props = defineProps(['file'])
const video = document.getElementById("myVideo")const getFileUrl = () => {return "http://60.205.141.200:9000/" + props.file.filePath;
}
const getFileType = () => {let category = props.file.fileCategoryif (category == 18 || category == 19) {return 1}else if (category == 13)return 2else if (category == 9 || category == 14 || category == 5) {imageList.value.push(getFileUrl())return 3}else if (category == 20 || category == 11 || category == 15)return 4else if (category == 12) {//视频return 5} else {//文本readDocumentContent();}}const readDocumentContent = async () => {var res = await axios.get(getFileUrl(), {responseType: 'text',})documentContent.value = `\n${res.data}\n`
}
//文件中的内容
const documentContent = ref('')
//图片列表
const imageList = ref([])const renderedHandler = () => {console.log("渲染成功")
}
const errorHandler = () => {console.log("渲染失败")
}</script><style lang="scss" scoped>
.document-preview {margin-right: 100px;background-color: #ccc;width: 1164px;border: 2px solid #ccc;height: 400px;border-radius: 0 0 10px 10px;text-align: left;
}
pre {font-family: 'Microsoft YaHei';
}
</style>

二、后端

后端使用minio，minio先接收分片文件，上传完成所有的分片文件后，在合并分片文件，删除中间文件即可。

1.接收分片文件、合并文件。

/*** 上传文件方法。* 该方法负责检查文件是否已存在，如果存在，则返回已存在标志；如果不存在且是完整文件，则上传文件到MinIO并保存文件信息到数据库。** @param fileVO 文件相关信息VO，包含文件本身、MD5、文件名等。* @return 如果文件已存在，返回秒传状态码；如果文件上传完成，返回上传完成状态码；否则返回null。* @throws GeneralException 如果文件为空，抛出通用异常。*/@Override@Transactional(rollbackFor = Exception.class)  //所有的操作都在一个事务里面。public HashMap<Object, Object> uploadFile(FileVO fileVO) {if(fileVO.getFile().isEmpty())throw  new GeneralException("文件上传异常");FileInfo insertItem = new FileInfo();Date now = new Date();HashMap<Object, Object> map = new HashMap<>();//第一片文件if(fileVO.getChunkNumber() == 1){//先去数据库看看有没有这个文件QueryWrapper<FileInfo> queryWrapper = new QueryWrapper<>();queryWrapper.eq("file_md5", fileVO.getFileMd5());//通过Md5查询，别人是不是已经传过这个文件了(文件名不影响文件的MD5值)。List<FileInfo> fileInfoList = fileInfoMapper.selectList(queryWrapper);FileInfo fileInfo = null;if(fileInfoList.size() > 0){fileInfo = fileInfoList.get(0);}//别人已经上传过这个文件了，直接秒传if(fileInfo != null){log.info("服务器中有相同的文件，直接秒传");//说明minIO中有对应的文件insertItem.setUserId(fileVO.getUserId());insertItem.setFileMd5(fileVO.getFileMd5());insertItem.setFileName(fileInfo.getFileName());insertItem.setFileCategory(fileInfo.getFileCategory());insertItem.setFileId(StringUtil.getRandomString(10));insertItem.setDelFlag(FileDelFlagEnums.USING.getFlag());insertItem.setFilePid(fileVO.getFilePid());insertItem.setFilePath(fileInfo.getFilePath());insertItem.setCreateTime(now);insertItem.setFileSize(fileInfo.getFileSize());insertItem.setState(UploadStatus.UPLOAD_FINISH.getStatus());fileInfoMapper.insert(insertItem);System.err.println(insertItem);map.put("status",UploadStatus.UPLOAD_FINISH.getStatus());map.put("fileId",insertItem.getFileId());return map;}//插入 一个切片redisUtil.set(fileVO.getFileMd5(),0);}if(Integer.parseInt(redisUtil.get(fileVO.getFileMd5()).toString()) >= fileVO.getChunkNumber()){//说明这片文件已经上传过了。map.put("status",UploadStatus.UPLOADING.getStatus());return map;}//只有一段，直接放到服务器就行if(fileVO.getChunkTotal() == 1){int lastDotIndex = fileVO.getFileName().lastIndexOf(".");String type = fileVO.getFileName().substring(lastDotIndex + 1);String url = minioUtils.uploadFile(MessageConstant.MINIO_BUCKET,fileVO.getFileName(), fileVO.getFile());insertItem.setUserId(fileVO.getUserId());insertItem.setFileMd5(fileVO.getFileMd5());insertItem.setFileName(fileVO.getFileName());insertItem.setFileCategory(FileCategoryEnums.getByCode(type).getCategory());insertItem.setFileId(StringUtil.getRandomString(10));insertItem.setDelFlag(FileDelFlagEnums.USING.getFlag());insertItem.setFilePid(fileVO.getFilePid());insertItem.setFilePath(url);insertItem.setCreateTime(now);insertItem.setFileSize(fileVO.getFile().getSize());insertItem.setState(UploadStatus.UPLOAD_FINISH.getStatus());fileInfoMapper.insert(insertItem);//删除redis中的切片上传信息redisUtil.del(fileVO.getFileMd5());map.put("status",UploadStatus.UPLOAD_FINISH.getStatus());map.put("fileId",insertItem.getFileId());return map;}log.info("分片上传====> md5 :{} ,=====> index :{}",fileVO.getFileMd5(),fileVO.getChunkNumber());//不止一片，继续上传//放切片文件的目录是 文件的userId + md5值,这个是唯一的。String objectName = fileVO.getUserId() + fileVO.getFileMd5() ;try {minioUtils.putChunkObject(fileVO.getFile().getInputStream(), MessageConstant.MINIO_BUCKET, objectName + "/" + fileVO.getChunkNumber());} catch (IOException e) {throw new GeneralException("文件上传异常！");}//最后一片，进行合并if(Objects.equals(fileVO.getChunkNumber(), fileVO.getChunkTotal())){//获得文件类型int lastDotIndex = fileVO.getFileName().lastIndexOf(".");String type = fileVO.getFileName().substring(lastDotIndex + 1);//objectName : userId+md5String filePath = minioUtils.composeObject(MessageConstant.MINIO_BUCKET,MessageConstant.MINIO_BUCKET,objectName, type);insertItem.setUserId(fileVO.getUserId());insertItem.setFileMd5(fileVO.getFileMd5());insertItem.setFileName(fileVO.getFileName());insertItem.setFileCategory(FileCategoryEnums.getByCode(type).getCategory());insertItem.setFileId(StringUtil.getRandomString(10));insertItem.setDelFlag(FileDelFlagEnums.USING.getFlag());insertItem.setFilePid(fileVO.getFilePid());insertItem.setFilePath(filePath);insertItem.setCreateTime(now);Long fileSize = MessageConstant.DEFAULT_CHUNK_SIZE * (fileVO.getChunkTotal() - 1) + fileVO.getFile().getSize();insertItem.setFileSize(fileSize);insertItem.setState(UploadStatus.UPLOAD_FINISH.getStatus());//插入一条数据System.out.println(fileInfoMapper.insert(insertItem));//删除minio中的临时文件目录System.out.println(minioUtils.deleteFolder(MessageConstant.MINIO_BUCKET, objectName));//删除redis中的切片上传信息redisUtil.del(fileVO.getFileMd5());map.put("status",UploadStatus.UPLOAD_FINISH.getStatus());map.put("fileId",insertItem.getFileId());return map;}//更新redis中的切片上传信息redisUtil.incrby(fileVO.getFileMd5(),1);//上传中map.put("status",UploadStatus.UPLOADING.getStatus());return map;}