SpringBoot整合MinIO實現文件上傳的方法詳解
前言
現在 OSS 服務算是一個基礎服務了,很多云服務廠商都有提供這樣的服務,價格也不貴,松哥自己的網站用的就是類似的服務。
不過對于中小公司來說,除了購買 OSS 服務之外,也可以自己搭建專業(yè)的文件服務器,自己搭建專門的文件服務器的話,曾經比較專業(yè)的做法是 FastDFS,松哥之前也專門為之錄過視頻發(fā)在 B 站上,感興趣的小伙伴可以自行查看。不過 FastDFS 搭建比較麻煩,非常容易出錯,所以對各位小伙伴來說多多少少有一點門檻。
松哥在之前的文章錄制的一些項目視頻中,如果涉及到文件上傳,基本上都是保存在項目本地,這種方式比較省事,但是安全性不高。
所以,今天給大伙介紹一個較好的玩意 MinIO,看看這個工具帶給我們什么驚喜。
1. MinIO 簡介
MinIO 是一個基于 Apache License v2.0 開源協(xié)議的對象存儲服務,它兼容亞馬遜 S3 云存儲服務接口,非常適合于存儲大容量非結構化的數據,例如圖片、視頻、日志文件、備份數據和容器/虛擬機鏡像等,而一個對象文件可以是任意大小,從幾 KB 到最大 5T 不等。
MinIO 是一個非常輕量的服務,可以很簡單的和其他應用的結合,類似 NodeJS, Redis 或者 MySQL。
簡單來說,可以使用 MinIO 來搭建一個對象存儲服務,而且 MinIO 的 Java 客戶端和亞馬遜的 S3 云存儲服務客戶端接口兼容,換句話說,你會往 MinIO 上存數據,就會往 S3 上存數據。
MinIO 的特點:
- 兼容 Amazon S3:可以使用 MinIO SDK,MinIO Client,AWS SDK 和 AWS CLI 訪問 MinIO 服務器。
- 較強的數據保護能力:MinIO 使用 Minio Erasure Code 來防止硬件故障。
- 高度可用:MinIO 服務器可以容忍分布式設置中高達
(N/2)-1
節(jié)點故障。 - 支持 Lambda 計算。
- 具有加密和防篡改功能:MinIO 為加密數據提供了機密性,完整性和真實性保證,而且性能開銷微乎其微。使用 AES-256-GCM,ChaCha20-Poly1305 和 AES-CBC 支持服務器端和客戶端加密。
- 可對接后端存儲:除了 MinIO 自己的文件系統(tǒng),還支持 DAS、 JBODs、NAS、Google 云存儲和 Azure Blob 存儲。
2. MinIO 安裝
不廢話了,趕緊裝一個體驗一把吧。
為了省事,咱們就直接用 docker 來安裝吧
我們執(zhí)行如下命令,安裝 MinIO:
docker run -p 9000:9000 -p 9001:9001 -d minio/minio server /data --console-address ":9000" --address ":9001"
這個啟動命令中配置了兩個端口:console-address 是后臺管理的網頁端口;address 則是 API 通信端口。以上面的啟動腳本為例,項目啟動成功后,網頁上的訪問端口是 9000,如果我們通過 Java 代碼上傳文件,通信端口則是 9001。
項目啟動成功后,瀏覽器地址欄輸入 http://127.0.0.1:9000/login
即可訪問到 MinIO 的后端頁面:
默認的登錄用戶名和密碼均為 minioadmin
。
登錄成功之后,我們首先創(chuàng)建一個 bucket,將來我們上傳的文件都處于 bucket 之中,如下:
創(chuàng)建成功之后,我們還需要設置一下桶的讀取權限,確保文件將來上傳成功之后可以讀取到,點擊左上角的設置按鈕進行設置,如下:
設置完成后,接下來我們就可以往這個桶中上傳資源了,如下圖:
上傳完成后,就可以看到剛剛上傳的文件了:
上傳成功后,點擊文件,然后點擊右邊的 Share 按鈕會彈出來文件的訪問鏈接,由于我們已經設置了文件可讀,因此可以不用管這里的鏈接有效期了,直接通過路徑的前面部分就可以訪問到剛剛上傳的圖片了,如下:
現在文件就可上傳可訪問了。是不是比 FastDFS 容易多了!
不過前面這種安裝方式其實有點小問題,因為我們沒有為 docker 容器設置數據卷,所以如果你把 docker 容器不小心刪除了,那么數據也就沒了!
所以我們要設置數據卷。
修正后的 docker 腳本如下:
docker run -p 9000:9000 -p 9001:9001 -d --name minio -v /Users/sang/minio/data:/data -v /Users/sang/minio/config:/root/.minio -e "MINIO_ROOT_USER=javaboy" -e "MINIO_ROOT_PASSWORD=123@45678" minio/minio server /data --console-address ":9000" --address ":9001"
主要是加了數據卷映射功能,將 MinIO 的數據和配置文件映射到宿主機上,這樣將來即使容器刪除了,數據也都還在。
注意上面也自定義了登錄用戶名和密碼。
按照上面的命令,重新創(chuàng)建容器之后,我們也創(chuàng)建一個桶并上傳文件,上傳成功之后,我們就可以在本地對應的文件夾看到我們上傳的文件,如下:
3. 整合 Spring Boot
接下來我們再來看看在 Spring Boot 中如何玩 MinIO。
首先我們創(chuàng)建一個 Spring Boot 項目,引入 Web 依賴,如下:
項目創(chuàng)建成功之后,我們再來手動添加一下 MinIO 的依賴,如下:
<dependency> <groupId>io.minio</groupId> <artifactId>minio</artifactId> <version>8.2.1</version> </dependency>
這里我嘗試用了最新的版本,但是似乎有一些 BUG,我也沒有深究,就換了 8.2.1 這個版本,這個版本是 OK 的。
接下來我們來配置一下 application.yaml,配置一下文件上傳所需要的基本信息:
minio: endpoint: http://localhost:9001 accessKey: javaboy secretKey: 123@45678 nginxHost: http://local.javaboy.org:9001
這里四個屬性:
endpoint:這是 MinIO 的 API 通信地址。
accessKey 和 secretKey 是通信的用戶名和密碼,這跟網頁上登錄時候的用戶名密碼一致。
nginxHost:這個配置用來生成上傳文件的訪問路徑。對于這個路徑,有的小伙伴可能會有疑問,nginxHost 不就是 endpoint 嗎?為什么還要單獨配置?因為對于文件服務器而言,我們上傳文件是通過 MinIO,但是訪問的時候不一定通過 MinIO,我們可能會自己搭建一個 Nginx 服務器,通過 Nginx 服務器來訪問上傳后的資源,大家知道 Nginx 非常擅長于做這個事情,效率非常高。所以這里的 nginxHost 其實是指 Nginx 的訪問路徑。
接下來我們提供一個 MinioProperties 來接收這里的四個屬性,如下:
@ConfigurationProperties(prefix = "minio") public class MinioProperties { /** * 連接地址 */ private String endpoint; /** * 用戶名 */ private String accessKey; /** * 密碼 */ private String secretKey; /** * 域名 */ private String nginxHost; public String getEndpoint() { return endpoint; } public void setEndpoint(String endpoint) { this.endpoint = endpoint; } public String getAccessKey() { return accessKey; } public void setAccessKey(String accessKey) { this.accessKey = accessKey; } public String getSecretKey() { return secretKey; } public void setSecretKey(String secretKey) { this.secretKey = secretKey; } public String getNginxHost() { return nginxHost; } public void setNginxHost(String nginxHost) { this.nginxHost = nginxHost; } }
將 application.yaml 中相關的配置注入到這個配置類中來。
接下來我們需要提供一個 MinIOClient,通過這個客戶端工具可以操作 MinIO,如下:
@Configuration @EnableConfigurationProperties(MinioProperties.class) public class MinioConfig { @Autowired private MinioProperties minioProperties; /** * 獲取MinioClient */ @Bean public MinioClient minioClient() { return MinioClient.builder() .endpoint(minioProperties.getEndpoint()) .credentials(minioProperties.getAccessKey(), minioProperties.getSecretKey()) .build(); } }
這個也沒啥好說的,傳入通信地址以及用戶名密碼,就可以構建出一個 MinioClient 出來。
當文件上傳成功之后,我們可以通過 MinIO 去訪問,也可以通過 Nginx 訪問,所以接下來我們就需要提供一個類,來封裝這兩個地址:
public class UploadResponse { private String minIoUrl; private String nginxUrl; public UploadResponse() { } public UploadResponse(String minIoUrl, String nginxUrl) { this.minIoUrl = minIoUrl; this.nginxUrl = nginxUrl; } public String getMinIoUrl() { return minIoUrl; } public void setMinIoUrl(String minIoUrl) { this.minIoUrl = minIoUrl; } public String getNginxUrl() { return nginxUrl; } public void setNginxUrl(String nginxUrl) { this.nginxUrl = nginxUrl; } }
再來提供一個 MinIO 文件上傳工具類:
@Component public class MinioUtil { @Autowired private MinioProperties minioProperties; @Autowired private MinioClient client; /** * 創(chuàng)建bucket */ public void createBucket(String bucketName) throws Exception { if (!client.bucketExists(BucketExistsArgs.builder().bucket(bucketName).build())) { client.makeBucket(MakeBucketArgs.builder().bucket(bucketName).build()); } } /** * 上傳文件 */ public UploadResponse uploadFile(MultipartFile file, String bucketName) throws Exception { //判斷文件是否為空 if (null == file || 0 == file.getSize()) { return null; } //判斷存儲桶是否存在 不存在則創(chuàng)建 createBucket(bucketName); //文件名 String originalFilename = file.getOriginalFilename(); //新的文件名 = 存儲桶文件名_時間戳.后綴名 assert originalFilename != null; SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd"); String fileName = bucketName + "_" + System.currentTimeMillis() + "_" + format.format(new Date()) + "_" + new Random().nextInt(1000) + originalFilename.substring(originalFilename.lastIndexOf(".")); //開始上傳 client.putObject( PutObjectArgs.builder().bucket(bucketName).object(fileName).stream( file.getInputStream(), file.getSize(), -1) .contentType(file.getContentType()) .build()); String url = minioProperties.getEndpoint() + "/" + bucketName + "/" + fileName; String urlHost = minioProperties.getNginxHost() + "/" + bucketName + "/" + fileName; return new UploadResponse(url, urlHost); } /** * 獲取全部bucket * * @return */ public List<Bucket> getAllBuckets() throws Exception { return client.listBuckets(); } /** * 根據bucketName獲取信息 * * @param bucketName bucket名稱 */ public Optional<Bucket> getBucket(String bucketName) throws IOException, InvalidKeyException, NoSuchAlgorithmException, InsufficientDataException, InvalidResponseException, InternalException, ErrorResponseException, ServerException, XmlParserException, ServerException { return client.listBuckets().stream().filter(b -> b.name().equals(bucketName)).findFirst(); } /** * 根據bucketName刪除信息 * * @param bucketName bucket名稱 */ public void removeBucket(String bucketName) throws Exception { client.removeBucket(RemoveBucketArgs.builder().bucket(bucketName).build()); } /** * 獲取?件外鏈 * * @param bucketName bucket名稱 * @param objectName ?件名稱 * @param expires 過期時間 <=7 * @return url */ public String getObjectURL(String bucketName, String objectName, Integer expires) throws Exception { return client.getPresignedObjectUrl(GetPresignedObjectUrlArgs.builder().bucket(bucketName).object(objectName).expiry(expires).build()); } /** * 獲取?件 * * @param bucketName bucket名稱 * @param objectName ?件名稱 * @return ?進制流 */ public InputStream getObject(String bucketName, String objectName) throws Exception { return client.getObject(GetObjectArgs.builder().bucket(bucketName).object(objectName).build()); } /** * 上傳?件 * * @param bucketName bucket名稱 * @param objectName ?件名稱 * @param stream ?件流 * @throws Exception https://docs.minio.io/cn/java-client-api-reference.html#putObject */ public void putObject(String bucketName, String objectName, InputStream stream) throws Exception { client.putObject(PutObjectArgs.builder().bucket(bucketName).object(objectName).stream(stream, stream.available(), -1).contentType(objectName.substring(objectName.lastIndexOf("."))).build()); } /** * 上傳?件 * * @param bucketName bucket名稱 * @param objectName ?件名稱 * @param stream ?件流 * @param size ?? * @param contextType 類型 * @throws Exception https://docs.minio.io/cn/java-client-api-reference.html#putObject */ public void putObject(String bucketName, String objectName, InputStream stream, long size, String contextType) throws Exception { client.putObject(PutObjectArgs.builder().bucket(bucketName).object(objectName).stream(stream, size, -1).contentType(contextType).build()); } /** * 獲取?件信息 * * @param bucketName bucket名稱 * @param objectName ?件名稱 * @throws Exception https://docs.minio.io/cn/java-client-api-reference.html#statObject */ public StatObjectResponse getObjectInfo(String bucketName, String objectName) throws Exception { return client.statObject(StatObjectArgs.builder().bucket(bucketName).object(objectName).build()); } /** * 刪除?件 * * @param bucketName bucket名稱 * @param objectName ?件名稱 * @throws Exception https://docs.minio.io/cn/java-client-apireference.html#removeObject */ public void removeObject(String bucketName, String objectName) throws Exception { client.removeObject(RemoveObjectArgs.builder().bucket(bucketName).object(objectName).build()); } }
都是一些常規(guī)的 API 調用,我就不逐行解釋了,接下來我們來一個文件上傳接口:
@RestController public class FileUploadController { @Autowired MinioUtil minioUtil; @PostMapping("/upload") public String fileUpload(MultipartFile file) throws Exception { UploadResponse bucket01 = minioUtil.uploadFile(file, "bucket01"); System.out.println("bucket01.getMinIoUrl() = " + bucket01.getMinIoUrl()); System.out.println("bucket01.getNginxUrl() = " + bucket01.getNginxUrl()); return bucket01.getMinIoUrl(); } }
好啦,大功告成。
接下來啟動 Spring Boot 項目,然后調用這個接口上傳文件,上傳成功后,控制臺會打印如下信息:
這就表示文件上傳成功了。
4. 配置nginx
前面提到了 MinIO 可以結合 Nginx 來使用,那我們這里就來配一配 Nginx 看看。
為了省事,Nginx 我也選擇安裝到 docker 容器中,但是前面安裝 MinIO 時,我們已經做了數據卷映射,即上傳到 MinIO 的文件實際上是保存在宿主機的,所以現在也得給 Nginx 配置數據卷,將來讓 Nginx 也去 /Users/sang/minio/data
路徑下查找文件。
Nginx 安裝指令如下:
docker run --name nginx01 -p 8888:80 -v /Users/sang/minio/data:/usr/share/nginx/html:ro -d nginx
這里兩個關鍵點:
- 設置 Nginx 端口為 8888。
- 將 MinIO 映射到宿主機的數據卷,再次掛載到 Nginx 上去。
大家知道,默認情況下,當我們訪問 Nginx 的時候,Nginx 給我們展示出來的數據其實就是 /usr/share/nginx/html
目錄下的,現在該目錄其實就相當于我宿主機的 /Users/sang/minio/data
目錄,所以我現在都不用修改 Nginx 的配置了,裝好之后直接使用 Nginx 即可。
好啦,接下來我們修改一下 application.yaml,如下:
minio: endpoint: http://localhost:9001 accessKey: javaboy secretKey: 123@45678 nginxHost: http://local.javaboy.org:8888
改完之后,再次上傳文件,此時打印出來的文件訪問路徑如下:
現在我們通過這個 Nginx 路徑也能訪問到剛剛上傳的文件了。
5. 小結
今天就和小伙伴們分享一下 MinIO 的用法,并結合 Nginx 搭建了一個簡單的文件服務器。
到此這篇關于SpringBoot整合MinIO實現文件上傳的方法詳解的文章就介紹到這了,更多相關SpringBoot MinIO文件上傳內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!
相關文章
spring中在xml配置中加載properties文件的步驟
這篇文章主要介紹了在spring中如何在xml配置中加載properties文件,本文分步驟給大家介紹在XML配置中加載properties文件的方法,需要的朋友可以參考下2023-07-07