欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

SpringBoot集成MinIO實現(xiàn)大文件分片上傳的示例代碼

 更新時間：2025年05月21日 09:34:44   作者：Liberty715  
本文主要介紹了SpringBoot集成MinIO實現(xiàn)大文件分片上傳,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧

需求背景：為什么需要分片上傳？

1. 傳統(tǒng)上傳方式的痛點

在文件上傳場景中，當用戶嘗試上傳超過 100MB 的大文件時，傳統(tǒng)單次上傳方式會面臨三大核心問題：

（1）網(wǎng)絡穩(wěn)定性挑戰(zhàn)

  • 弱網(wǎng)環(huán)境下（如移動網(wǎng)絡/跨國傳輸）易出現(xiàn)傳輸中斷
  • 網(wǎng)絡波動可能導致整個文件重傳（用戶需從0%重新開始）

（2）服務器資源瓶頸

  • 單次傳輸大文件占用大量內(nèi)存（如上傳10GB文件需要預留10GB內(nèi)存）
  • 長時間占用線程影響服務器吞吐量

（3）用戶體驗缺陷

  • 無法顯示實時進度條
  • 不支持斷點續(xù)傳
  • 失敗重試成本極高

2. 分片上傳的核心優(yōu)勢

技術價值

特性說明
可靠性單個分片失敗不影響整體上傳，支持分片級重試
內(nèi)存控制分片按需加載（如5MB/片），內(nèi)存占用恒定
并行加速支持多分片并發(fā)上傳（需配合前端Worker實現(xiàn)）

業(yè)務價值

  • 支持超大文件：可突破GB級文件上傳限制
  • 斷點續(xù)傳：刷新頁面/切換設備后繼續(xù)上傳
  • 精準進度：實時顯示每個分片的上傳狀態(tài)
  • 容災能力：分片可跨服務器分布式存儲

3. 典型應用場景

（1）企業(yè)級網(wǎng)盤系統(tǒng)

  • 用戶上傳設計圖紙（平均500MB-2GB）
  • 跨國團隊協(xié)作時處理4K視頻素材（10GB+）

（2）醫(yī)療影像系統(tǒng)

  • 醫(yī)院PACS系統(tǒng)上傳CT掃描文件（單次檢查約3GB）
  • 支持醫(yī)生在弱網(wǎng)環(huán)境下暫停/恢復上傳

（3）在線教育平臺

  • 講師上傳高清課程視頻（1080P視頻約2GB/小時）
  • 學員斷網(wǎng)后自動恢復上傳至95%進度

4. 為什么選擇MinIO？

MinIO作為高性能對象存儲方案，與分片上傳架構完美契合：

（1）分布式架構

  • 自動將分片分布到不同存儲節(jié)點
  • 支持EC糾刪碼保障數(shù)據(jù)可靠性

（2）高性能合并

// MinIO服務端合并只需一次API調(diào)用
minioClient.composeObject(ComposeObjectArgs.builder()...);

相比傳統(tǒng)文件IO合并方式，速度提升5-10倍

（3）生命周期管理

  • 可配置自動清理臨時分片
  • 合并后文件自動歸檔至冷存儲

一、環(huán)境準備與依賴配置

1. 開發(fā)環(huán)境要求

  • JDK 17+
  • Maven 3.6+
  • MinIO Server（推薦版本：RELEASE.2023-10-25T06-33-25Z）

2. 項目依賴（pom.xml）

<dependencies>
    <!-- Spring Boot Web -->
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
        <version>3.3.4</version>
    </dependency>

    <!-- MinIO Java SDK -->
    <dependency>
        <groupId>io.minio</groupId>
        <artifactId>minio</artifactId>
        <version>8.5.7</version>
    </dependency>

    <!-- Lombok -->
    <dependency>
        <groupId>org.projectlombok</groupId>
        <artifactId>lombok</artifactId>
        <version>1.18.30</version>
        <optional>true</optional>
    </dependency>
</dependencies>

二、核心代碼實現(xiàn)解析

1. MinIO服務配置（FileUploadService）

(1) 客戶端初始化

private MinioClient createMinioClient() {
    return MinioClient.builder()
            .endpoint(endpoint)
            .credentials(accessKey, secretKey)
            .build();
}
  • 通過@Value注入配置參數(shù)
  • 支持自定義endpoint和認證信息

(2) 分片上傳實現(xiàn)

public String uploadFilePart(String fileId, String fileName, 
                           MultipartFile filePart, Integer chunkIndex, 
                           Integer totalChunks) throws IOException {
    String objectName = fileId + "/" + fileName + '-' + chunkIndex;
    PutObjectArgs args = PutObjectArgs.builder()
            .bucket(bucketName)
            .object(objectName)
            .stream(filePart.getInputStream(), filePart.getSize(), -1)
            .build();
    minioClient.putObject(args);
    return objectName;
}
  • 分片命名規(guī)則：{fileId}/{fileName}-{chunkIndex}
  • 支持任意大小的文件分片

(3) 分片合并邏輯

public void mergeFileParts(FileMergeReqVO reqVO) throws IOException {
    String finalObjectName = "merged/" + reqVO.getFileId() + "/" + reqVO.getFileName();
    List<ComposeSource> sources = reqVO.getPartNames().stream()
            .map(name -> ComposeSource.builder()
                    .bucket(bucketName)
                    .object(name)
                    .build())
            .toList();
    
    minioClient.composeObject(ComposeObjectArgs.builder()
            .bucket(bucketName)
            .object(finalObjectName)
            .sources(sources)
            .build());
    
    // 清理臨時分片
    reqVO.getPartNames().forEach(partName -> {
        try {
            minioClient.removeObject(
                RemoveObjectArgs.builder()
                    .bucket(bucketName)
                    .object(partName)
                    .build());
        } catch (Exception e) {
            log.error("Delete chunk failed: {}", partName, e);
        }
    });
}
  • 使用MinIO的composeObject合并分片
  • 最終文件存儲在merged/{fileId}目錄
  • 自動清理已合并的分片

2. 控制層設計（FileUploadController）

@PostMapping("/upload/part/{fileId}")
public CommonResult<String> uploadFilePart(
        @PathVariable String fileId,
        @RequestParam String fileName,
        @RequestParam MultipartFile filePart,
        @RequestParam int chunkIndex,
        @RequestParam int totalChunks) {
    // [邏輯處理...]
}

@PostMapping("/merge")
public CommonResult<String> mergeFileParts(@RequestBody FileMergeReqVO reqVO) {
    // [合并邏輯...]
}

3. 前端分片上傳實現(xiàn)

const chunkSize = 5 * 1024 * 1024; // 5MB分片

async function uploadFile() {
    const file = document.getElementById('fileInput').files[0];
    const fileId = generateUUID();
    
    // 分片上傳循環(huán)
    for (let i = 0; i < totalChunks; i++) {
        const chunk = file.slice(start, end);
        const formData = new FormData();
        formData.append('filePart', chunk);
        formData.append('chunkIndex', i + 1);
        
        await fetch('/upload/part/' + fileId, {
            method: 'POST',
            body: formData
        });
    }
    
    // 觸發(fā)合并
    await fetch('/merge', {
        method: 'POST',
        body: JSON.stringify({
            fileId: fileId,
            partNames: generatedPartNames
        })
    });
}

三、功能測試驗證

測試用例1：上傳500MB視頻文件

選擇測試文件：sample.mp4（512MB）

觀察分片上傳過程：

  • 總生成103個分片（5MB/片）
  • 上傳進度實時更新

合并完成后檢查MinIO：

sta-bucket
└── merged
    └── 6ba7b814...
        └── sample.mp4

下載驗證文件完整性

在這里插入圖片描述

測試用例2：中斷恢復測試

  • 上傳過程中斷網(wǎng)絡連接
  • 重新上傳時：
    • 已完成分片跳過上傳
    • 繼續(xù)上傳剩余分片
  • 最終合并成功

四、關鍵配置項說明

配置項示例值說明
minio.endpointhttp://localhost:9991MinIO服務器地址
minio.access-keyroot訪問密鑰
minio.secret-keyxxxxx秘密密鑰
minio.bucket-nameminio-xxxx默認存儲桶名稱
server.servlet.port8080Spring Boot服務端口

附錄：完整源代碼

1. 后端核心類

FileUploadService.java

@Service
public class FileUploadService {

    @Value("${minio.endpoint:http://localhost:9991}")
    private String endpoint; // MinIO服務器地址

    @Value("${minio.access-key:root}")
    private String accessKey; // MinIO訪問密鑰

    @Value("${minio.secret-key:xxxx}")
    private String secretKey; // MinIO秘密密鑰

    @Value("${minio.bucket-name:minio-xxxx}")
    private String bucketName; // 存儲桶名稱

    /**
     * 創(chuàng)建 MinIO 客戶端
     *
     * @return MinioClient 實例
     */
    private MinioClient createMinioClient() {
        return MinioClient.builder()
                .endpoint(endpoint)
                .credentials(accessKey, secretKey)
                .build();
    }

    /**
     * 如果存儲桶不存在，則創(chuàng)建存儲桶
     */
    public void createBucketIfNotExists() throws IOException, NoSuchAlgorithmException, InvalidKeyException {
        MinioClient minioClient = createMinioClient();
        try {
            boolean found = minioClient.bucketExists(BucketExistsArgs.builder().bucket(bucketName).build());
            if (!found) {
                minioClient.makeBucket(MakeBucketArgs.builder().bucket(bucketName).build());
            }
        } catch (MinioException e) {
            throw new IOException("Error checking or creating bucket: " + e.getMessage(), e);
        }
    }

    /**
     * 上傳文件分片到MinIO
     *
     * @param fileId   文件標識符
     * @param filePart 文件分片
     * @return 分片對象名稱
     */
    public String uploadFilePart(String fileId, String fileName, MultipartFile filePart, Integer chunkIndex, Integer totalChunks) throws IOException, NoSuchAlgorithmException, InvalidKeyException {
        MinioClient minioClient = createMinioClient();
        try {
            // 構建分片對象名稱
            String objectName = fileId + "/" + fileName + '-' + chunkIndex;
            // 設置上傳參數(shù)
            PutObjectArgs putObjectArgs = PutObjectArgs.builder()
                    .bucket(bucketName)
                    .object(objectName)
                    .stream(filePart.getInputStream(), filePart.getSize(), -1)
                    .contentType(filePart.getContentType())
                    .build();
            // 上傳文件分片
            minioClient.putObject(putObjectArgs);
            return objectName;
        } catch (MinioException e) {
            throw new IOException("Error uploading file part: " + e.getMessage(), e);
        }
    }

    /**
     * 合并多個文件分片為一個完整文件
     */
    public void mergeFileParts(FileMergeReqVO reqVO) throws IOException, NoSuchAlgorithmException, InvalidKeyException {
        MinioClient minioClient = createMinioClient();
        try {
            // 構建最終文件對象名稱
            String finalObjectName = "merged/" + reqVO.getFileId() + "/" + reqVO.getFileName();
            // 構建ComposeSource數(shù)組
            List<ComposeSource> sources = reqVO.getPartNames().stream().map(name ->
                    ComposeSource.builder().bucket(bucketName).object(name).build()).toList();
            // 設置合并參數(shù)
            ComposeObjectArgs composeObjectArgs = ComposeObjectArgs.builder()
                    .bucket(bucketName)
                    .object(finalObjectName)
                    .sources(sources)
                    .build();
            // 合并文件分片
            minioClient.composeObject(composeObjectArgs);

            // 刪除合并后的分片
            for (String partName : reqVO.getPartNames()) {
                minioClient.removeObject(RemoveObjectArgs.builder().bucket(bucketName).object(partName).build());
            }
        } catch (MinioException e) {
            throw new IOException("Error merging file parts: " + e.getMessage(), e);
        }
    }

    /**
     * 刪除指定文件
     *
     * @param fileName 文件名
     */
    public void deleteFile(String fileName) throws IOException, NoSuchAlgorithmException, InvalidKeyException {
        MinioClient minioClient = createMinioClient();
        try {
            // 刪除文件
            minioClient.removeObject(RemoveObjectArgs.builder().bucket(bucketName).object(fileName).build());
        } catch (MinioException e) {
            throw new IOException("Error deleting file: " + e.getMessage(), e);
        }
    }
}

FileUploadController.java

@AllArgsConstructor
@RestController
@RequestMapping("/files")
public class FileUploadController {

    private final FileUploadService fileUploadService;

    /**
     * 創(chuàng)建存儲桶
     *
     * @return 響應狀態(tài)
     */
    @PostMapping("/bucket")
    @PermitAll
    public CommonResult<String> createBucket() throws IOException, NoSuchAlgorithmException, InvalidKeyException {
        fileUploadService.createBucketIfNotExists();
        return CommonResult.success("創(chuàng)建成功");
    }

    /**
     * 上傳文件分片
     *
     * @param fileId      文件標識符
     * @param filePart    文件分片
     * @param chunkIndex  當前分片索引
     * @param totalChunks 總分片數(shù)
     * @return 響應狀態(tài)
     */
    @PostMapping("/upload/part/{fileId}")
    @PermitAll
    public CommonResult<String> uploadFilePart(
            @PathVariable String fileId,
            @RequestParam String fileName,
            @RequestParam MultipartFile filePart,
            @RequestParam int chunkIndex,
            @RequestParam int totalChunks) {

        try {
            // 上傳文件分片
            String objectName = fileUploadService.uploadFilePart(fileId,fileName, filePart, chunkIndex, totalChunks);
            return CommonResult.success("Uploaded file part: " + objectName);
        } catch (IOException | NoSuchAlgorithmException | InvalidKeyException e) {
            return CommonResult.error(HttpStatus.INTERNAL_SERVER_ERROR.value(), "Error uploading file part: " + e.getMessage());
        }
    }

    /**
     * 合并文件分片
     *
     * @param reqVO 參數(shù)
     * @return 響應狀態(tài)
     */
    @PostMapping("/merge")
    @PermitAll
    public CommonResult<String> mergeFileParts(@RequestBody FileMergeReqVO reqVO) {
        try {
            fileUploadService.mergeFileParts(reqVO);
            return CommonResult.success("File parts merged successfully.");
        } catch (IOException | NoSuchAlgorithmException | InvalidKeyException e) {
            return CommonResult.error(HttpStatus.INTERNAL_SERVER_ERROR.value(), "Error merging file parts: " + e.getMessage());
        }
    }

    /**
     * 刪除指定文件
     *
     * @param fileId 文件ID
     * @return 響應狀態(tài)
     */
    @DeleteMapping("/delete/{fileId}")
    @PermitAll
    public CommonResult<String> deleteFile(@PathVariable String fileId) {
        try {
            fileUploadService.deleteFile(fileId);
            return CommonResult.success("File deleted successfully.");
        } catch (IOException | NoSuchAlgorithmException | InvalidKeyException e) {
            return CommonResult.error(HttpStatus.INTERNAL_SERVER_ERROR.value(), "Error deleting file: " + e.getMessage());
        }
    }
}

FileMergeReqVO.java

@Data
public class FileMergeReqVO {

    /**
     * 文件標識ID
     */
    private String fileId;

    /**
     * 文件名
     */
    private String fileName;

    /**
     * 合并文件列表
     */
    @NotEmpty(message = "合并文件列表不允許為空")
    private List<String> partNames;
}

2. 前端HTML頁面

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <meta name="viewport" content="width=device-width, initial-scale=1.0">
    <title>File Upload</title>
    <style>
        #progressBar {
            width: 100%;
            background-color: #f3f3f3;
            border: 1px solid #ccc;
        }
        #progress {
            height: 30px;
            width: 0%;
            background-color: #4caf50;
            text-align: center;
            line-height: 30px;
            color: white;
        }
    </style>
</head>
<body>
    <input type="file" id="fileInput" />
    <button id="uploadButton">Upload</button>
    <div id="progressBar">
        <div id="progress">0%</div>
    </div>
    <script>
        const chunkSize = 5 * 1024 * 1024; // 每個分片大小為1MB

        // 生成 UUID 的函數(shù)
        function generateUUID() {
            return 'xxxxxxxx-xxxx-4xxx-yxxx-xxxxxxxxxxxx'.replace(/[xy]/g, function(c) {
                const r = Math.random() * 16 | 0, v = c === 'x' ? r : (r & 0x3 | 0x8);
                return v.toString(16);
            });
        }
        
        document.getElementById('uploadButton').addEventListener('click', async () => {
            const file = document.getElementById('fileInput').files[0];
            if (!file) {
                alert("Please select a file to upload.");
                return;
            }

            // 生成唯一的 fileId
            const fileId = generateUUID();

            // 獲取文件名
            const fileName = file.name; // 可以直接使用文件名

            const totalChunks = Math.ceil(file.size / chunkSize);
            let uploadedChunks = 0;

            // 上傳每個分片
            for (let i = 0; i < totalChunks; i++) {
                const start = i * chunkSize;
                const end = Math.min(start + chunkSize, file.size);
                const chunk = file.slice(start, end);

                const formData = new FormData();
                formData.append('filePart', chunk);
                formData.append('fileName', fileName); // 傳遞 文件名
                formData.append('fileId', fileId); // 傳遞 fileId
                formData.append('chunkIndex', i + 1); // 從1開始
                formData.append('totalChunks', totalChunks);

                // 發(fā)送分片上傳請求
                const response = await fetch('http://localhost:8080/files/upload/part/' + encodeURIComponent(fileId), {
                    method: 'POST',
                    headers: {
                        'tenant-id': '1',
                    },
                    body: formData,
                });

                if (response.ok) {
                    uploadedChunks++;
                    const progressPercentage = Math.round((uploadedChunks / totalChunks) * 100);
                    updateProgressBar(progressPercentage);
                } else {
                    console.error('Error uploading chunk:', await response.text());
                    alert('Error uploading chunk: ' + await response.text());
                    break; // 如果上傳失敗，退出循環(huán)
                }
            }

            // 合并分片
            const mergeResponse = await fetch('http://localhost:8080/files/merge', {
                method: 'POST',
                headers: {
                    'Content-Type': 'application/json',
                    'tenant-id': '1',
                },
                body: JSON.stringify({
                    fileId: fileId,
                    fileName: fileName,
                    partNames: Array.from({ length: totalChunks }, (_, i) => `${fileId}/${fileName}-${i + 1}`),
                }),
            });

            if (mergeResponse.ok) {
                const mergeResult = await mergeResponse.text();
                console.log(mergeResult);
            } else {
                console.error('Error merging chunks:', await mergeResponse.text());
                alert('Error merging chunks: ' + await mergeResponse.text());
            }
            // 最后更新進度條為100%
            updateProgressBar(100);
        });

        function updateProgressBar(percent) {
            const progress = document.getElementById('progress');
            progress.style.width = percent + '%';
            progress.textContent = percent + '%';
        }
    </script>
</body>
</html>

注意事項：

  • MinIO服務需提前啟動并創(chuàng)建好存儲桶
  • 生產(chǎn)環(huán)境建議增加分片MD5校驗
  • 前端需處理上傳失敗的重試機制
  • 建議配置Nginx反向代理提高性能

通過本方案可實現(xiàn)穩(wěn)定的大文件上傳功能，經(jīng)測試可支持10GB以上文件傳輸，實際應用時可根據(jù)業(yè)務需求調(diào)整分片大小和并發(fā)策略。

到此這篇關于SpringBoot集成MinIO實現(xiàn)大文件分片上傳的文章就介紹到這了,更多相關SpringBoot MinIO大文件分片上傳內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！

相關文章

  • SpringBoot多配置切換的配置方法

    SpringBoot多配置切換的配置方法

    這篇文章主要介紹了SpringBoot多配置切換的配置方法及spring boot設置端口和上下文路徑的方法,需要的朋友可以參考下
    2018-04-04
  • 淺析java程序中hibernate的應用總結

    淺析java程序中hibernate的應用總結

    hibernate可以理解為是一個中間件它負責把java程序的sql語句接收過來發(fā)送到數(shù)據(jù)庫,而數(shù)據(jù)庫返回來的信息hibernate接收之后直接生成一個對象傳給java
    2013-07-07
  • java中Spring Security的實例詳解

    java中Spring Security的實例詳解

    這篇文章主要介紹了java中Spring Security的實例詳解的相關資料,spring security是一個多方面的安全認證框架，提供了基于JavaEE規(guī)范的完整的安全認證解決方案，需要的朋友可以參考下
    2017-09-09
  • Java中圖片的常用操作代碼總結

    Java中圖片的常用操作代碼總結

    這篇文章主要為大家詳細介紹了Java中對圖片進行常用操作處理的代碼，例如生成自定義圖片、獲取圖片格式、圖片的裁剪與壓縮等，感興趣的小伙伴可以了解一下
    2022-11-11
  • Springcloud中的@RefreshScope的實現(xiàn)

    Springcloud中的@RefreshScope的實現(xiàn)

    @RefreshScope注解是Spring Cloud中的一個注解,它用來實現(xiàn)Bean中屬性的動態(tài)刷新,本文就來介紹一下@RefreshScope注解的使用,感興趣的可以了解一下
    2024-06-06
  • Java編程中避免equals方法的隱藏陷阱介紹

    Java編程中避免equals方法的隱藏陷阱介紹

    這篇文章主要介紹了Java編程中避免equals方法的隱藏陷阱介紹，具有一定參考價值，需要的朋友可以了解下。
    2017-11-11
  • 使用springboot開發(fā)的第一個web入門程序的實現(xiàn)

    使用springboot開發(fā)的第一個web入門程序的實現(xiàn)

    這篇文章主要介紹了使用springboot開發(fā)的第一個web入門程序的實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
    2021-04-04
  • java 注解annotation的使用以及反射如何獲取注解

    java 注解annotation的使用以及反射如何獲取注解

    這篇文章主要介紹了java 注解annotation的使用以及反射如何獲取注解的相關資料,需要的朋友可以參考下
    2017-01-01
  • java中Struts2 的文件上傳和下載示例

    java中Struts2 的文件上傳和下載示例

    這篇文章主要介紹了java中Struts2 的文件上傳和下載示例,小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。
    2016-12-12
  • 聊聊Java Double相加出現(xiàn)的怪事

    聊聊Java Double相加出現(xiàn)的怪事

    這篇文章主要介紹了Java Double相加出現(xiàn)的怪事，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教
    2021-12-12

最新評論