JS前端分片上傳大文件步驟(支持1G以上的超大文件)
什么時候需要分片上傳?
如果將大文件一次性上傳,耗時會非常長,甚至可能傳輸失敗,那么我們怎么解決這個問題呢?既然大文件上傳不適合一次性上傳,那么我們可以嘗試將文件分片散上傳。
這樣的技術就叫做分片上傳。分片上傳就是將大文件分成一個個小文件(切片),將切片進行上傳,等到后端接收到所有切片,再將切片合并成大文件。通過將大文件拆分成多個小文件進行上傳,確實就是解決了大文件上傳的問題。因為請求時可以并發(fā)執(zhí)行的,這樣的話每個請求時間就會縮短,如果某個請求發(fā)送失敗,也不需要全部重新發(fā)送。
分片上傳流程
獲取文件專屬MD5碼
import sparkMD5 from 'spark-md5' // 安裝下spark-md5包
// 定義hash函數,接受一個名為chunks的數組作為參數 hash = (chunks) => { // 返回一個Promise,這樣調用者可以使用.then()或async/await來處理結果 return new Promise((resolve) => { // 創(chuàng)建一個新的sparkMD5實例,用于計算MD5哈希值 const spark = new sparkMD5(); // 定義一個遞歸函數_read,用于逐個處理chunks數組中的blob function _read(i) { // 如果索引i大于等于chunks數組的長度,說明所有blob都已經處理完畢 if (i >= chunks.length) { // 調用sparkMD5實例的end方法,并傳入resolve回調,以返回最終的哈希值 resolve(spark.end()); return; // 讀取完成,退出函數 } // 獲取當前索引i對應的blob const blob = chunks[i]; // 創(chuàng)建一個新的FileReader實例,用于讀取blob的內容 const reader = new FileReader(); // 設置FileReader的onload事件處理函數,當blob內容讀取完成后調用 reader.onload = e => { // 從事件對象e中獲取讀取到的字節(jié)數組 const bytes = e.target.result; // 將字節(jié)數組添加到sparkMD5實例中,用于計算哈希值 spark.append(bytes); // 遞歸調用_read函數,處理下一個blob _read(i + 1); }; // 以ArrayBuffer格式異步讀取當前blob的內容 reader.readAsArrayBuffer(blob); // 這里是讀取操作開始的地方 } // 從索引0開始,調用_read函數,處理chunks數組中的第一個blob _read(0); }); };
解析:
在這個函數中,_read 函數是一個遞歸函數,它會逐個處理 chunks 數組中的每個 blob。對于每個 blob,它使用 FileReader 的 readAsArrayBuffer 方法異步讀取內容,并在內容讀取完成后通過 onload 事件處理函數將讀取到的字節(jié)數組添加到 sparkMD5 實例中。當所有 blob 都處理完畢后,sparkMD5 實例的 end 方法被調用,并返回最終的哈希值,這個值隨后通過Promise的 resolve 方法傳遞給調用者。
在這個函數中,當用戶選擇一個文件后,readAsArrayBuffer開始異步讀取文件內容。一旦文件內容被讀取并轉換為ArrayBuffer,onload事件處理程序就會被調用,你可以在這個事件處理程序中訪問到ArrayBuffer對象,并對其進行處理。ArrayBuffer對象代表原始的二進制數據
接口1:傳MD5碼獲取該文件已上傳的片數
調用上面的方法hash()
const md5Str = await this.hash(chunksList); /* 這里寫發(fā)送md5Str【接口1】 的方法,獲取已上傳片數 */
接口2:將文件分片成promise請求數組
1.文件分片
chunkFile = (file, chunksize) => { const chunks = Math.ceil(file.size / chunksize); const chunksList = []; let currentChunk = 0; while (currentChunk < chunks) { const start = currentChunk * chunksize; const end = Math.min(file.size, start + chunksize); const chunk = file.slice(start, end); chunksList.push(chunk); currentChunk++; } return chunksList; };
2.封裝成promise請求
chunkPromise = data => { //每個分片的請求 return new Promise((resolve, reject) => { /* 這里寫上傳的 【接口2】,傳data過去*/ }).catch(err => { message.error(err.msg); reject(); }) } const promiseList = [] const chunkList = chunkFile(file, size) chunkList.map(item => { const formData = new FormData(); formData.append('file', item) // limit是線程池組件 后面會寫 promiseList.push(limit(() => this.chunkPromise(formData, chunks))) })
promise請求數組做線程池限制處理 p-limit
p-limit npm 包是一個實用工具,它允許你限制同時運行的 Promise 數量。當你擁有可以在并行中運行的操作,但由于資源限制想要限制這些操作的數量時,這個工具就很有用,有助于控制并發(fā)性。
p-limit npm地址官方案例:
const pLimit = require('p-limit'); const limit = pLimit(2); const input = [ limit(() => fetchSomething('foo')), limit(() => fetchSomething('bar')), limit(() => doSomethingElse()), ]; // Only two promises will run at once, the rest will be queued Promise.all(input).then(results => { console.log(results); });
接口3:promise.all執(zhí)行結束后,請求一個是否合并成功的接口
Promise.all(promiseList).then(res =>{ // 這里寫接口3 問后端是否合并成功了 }).catch(err => { message.error(err.msg); })
完整主函數
分片大小建議不超過最大不超過5M
const md5Str = await this.hash(chunksList); /* 這里寫發(fā)送md5Str【接口1】 的方法,獲取已上傳片數 */ const promiseList = [] const chunkList = this.chunkFile(file, size) chunkList.map(item => { const formData = new FormData(); formData.append('file', item) promiseList.push(limit(() => this.chunkPromise(formData, chunks))) // 【接口2 在this.chunkPromise里】 } Promise.all(promiseList).then(res =>{ // 這里寫【接口3】 問后端是否合并成功了 }).catch(err => { message.error(err.msg); })
待優(yōu)化的地方: 使用Web Workers進行分片上傳
Web Workers在后臺線程中運行,它們不會阻塞主線程,這意味著主線程可以繼續(xù)響應用戶的操作,如界面渲染和交互。在分片上傳過程中,每個文件塊可以在單獨的Worker中處理,從而實現并行處理,大大提高了上傳速度。同時,由于Worker不會與主線程共享內存,因此可以避免內存競爭和阻塞,進一步提升了性能。
總結
到此這篇關于JS前端分片上傳大文件的文章就介紹到這了,更多相關JS前端分片上傳大文件內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!
相關文章
javascript contains和compareDocumentPosition 方法來確定是否HTML節(jié)點間的關
一個很棒的 blog 文章,是 PPK 兩年前寫的,文章中解釋了 contains() 和 compareDocumentPosition() 方法運行在他們各自的瀏覽器上。2010-02-02