Python3實現(xiàn)zip分卷壓縮過程解析
使用zipfile庫
查看 官方中文文檔
利用 Python 壓縮 ZIP 文件,我們第一反應(yīng)是使用 zipfile 庫,然而,它的官方文檔中卻明確標注“此模塊目前不能處理分卷 ZIP 文件”,(⊙﹏⊙)
折騰經(jīng)過
翻遍了Google、CSDN、Stackoverflow等平臺均未找到解決方案,最靠譜的是調(diào)用外部解壓程序?qū)崿F(xiàn)分卷壓縮的功能。但是,如何不依靠外部程序?qū)崿F(xiàn)這個功能呢??
于是乎,只能自己慢慢造輪子??粗?ZIP 格式開發(fā)商留下的文檔 ZIP File Format Specification,頭疼啊(;´д`)。于是我拿著 WinHex 開始16進制一個一個文件對比 WinRar 創(chuàng)建的分卷壓縮和單個 zip 文件的差異。最后還真的整出來了( ̄▽ ̄)"
如果想把單個大文件 test.zip -> 分卷文件 test.z01、test.z02、test.zip
首先,在創(chuàng)建的第一個分卷文件 test.z01的前面加上 \x50\x4b\x07\x08 這個是分卷壓縮的文件頭(header),占4個字節(jié)。其實單個壓縮文件本身 header 就有這個了,而分卷壓縮的需要兩個emmm。之后便是從單個大壓縮文件文件test.zip中讀取 "一個分卷大小 -4 個字節(jié)"的數(shù)據(jù),寫入test.z01中,如何接著讀取一個分卷大小的數(shù)據(jù),寫入test.z02,以此類推,最后一個分卷文件名也是test.zip。
Python3的代碼實現(xiàn)
import os import zipfile def zip_by_volume(file_path, block_size): """zip文件分卷壓縮""" file_size = os.path.getsize(file_path) # 文件字節(jié)數(shù) path, file_name = os.path.split(file_path) # 除去文件名以外的path,文件名 suffix = file_name.split('.')[-1] # 文件后綴名 # 添加到臨時壓縮文件 zip_file = file_path + '.zip' with zipfile.ZipFile(zip_file, 'w') as zf: zf.write(file_path, arcname=file_name) # 小于分卷尺寸則直接返回壓縮文件路徑 if file_size <= block_size: return zip_file else: fp = open(zip_file, 'rb') count = file_size // block_size + 1 # 創(chuàng)建分卷壓縮文件的保存路徑 save_dir = path + os.sep + file_name + '_split' if os.path.exists(save_dir): from shutil import rmtree rmtree(save_dir) os.mkdir(save_dir) # 拆分壓縮包為分卷文件 for i in range(1, count + 1): _suffix = 'z{:0>2}'.format(i) if i != count else 'zip' name = save_dir + os.sep + file_name.replace(str(suffix), _suffix) f = open(name, 'wb+') if i == 1: f.write(b'\x50\x4b\x07\x08') # 添加分卷壓縮header(4字節(jié)) f.write(fp.read(block_size - 4)) else: f.write(fp.read(block_size)) fp.close() os.remove(zip_file) # 刪除臨時的 zip 文件 return save_dir if __name__ == '__main__': file = r"D:\Downloads\1.mp4" # 原始文件 volume_size = 1024 * 1024 * 100 # 分卷大小 100MB path = zip_by_volume(file, volume_size) print(path) # 輸出分卷壓縮文件的路徑
缺點
該方法創(chuàng)建分卷壓縮的時候,需要先在磁盤創(chuàng)建一個臨時壓縮包,然后將其拆分,實際上會對磁盤寫入兩次,這就浪費了時間。
當然,我嘗試使用 ByteIO 進行字節(jié)流的壓縮,但是這種方式需要先把文件讀入內(nèi)存,對于超級大的文件,這是不現(xiàn)實的,分分鐘內(nèi)存爆炸。
然后,我嘗試使用 io.pipe 的管道來處理,而 zipfile 壓縮需要提供一個 file 或 file-like 對象,這個對象必須實現(xiàn) seek() 和 tell() 方法來回去寫入文件頭信息,然而管道流沒辦法seek回去修改數(shù)據(jù)。這里,參考了Python zipfile + os.pipe()探索記,屏蔽了 seek() 和 tell() 函數(shù)。但是,后面我分卷時需要指定讀取的字節(jié)數(shù),這就需要這兩個函數(shù)。。。我大概知道為什么 zipfile 庫不支持創(chuàng)建分卷文件了〒▽〒
這個庫的作者也沒少掉頭發(fā)。?!,F(xiàn)在就將就一下,這樣用著吧。。。
以上就是本文的全部內(nèi)容,希望對大家的學習有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
全CPU并行處理Pandas操作Pandarallel更快處理數(shù)據(jù)
我們在處理數(shù)據(jù)時,通常小的數(shù)據(jù)對處理速度不敏感,但數(shù)據(jù)量一大,頓時會感覺數(shù)據(jù)處理效率不盡如人意,今天介紹的pandarallel就是一個簡單高效的Pandas并行工具,幾行代碼就可以提高數(shù)據(jù)處理效率,2024-01-01Python實現(xiàn)模擬瀏覽器請求及會話保持操作示例
這篇文章主要介紹了Python實現(xiàn)模擬瀏覽器請求及會話保持操作,結(jié)合實例形式分析了Python基于urllib與urllib2模塊模擬瀏覽器請求及cookie保存會話相關(guān)操作技巧,需要的朋友可以參考下2018-07-07Python初學者需要注意的事項小結(jié)(python2與python3)
這篇文章主要介紹了Python初學者需要注意的事項小結(jié),包括了python2與python3的一些區(qū)別,需要的朋友可以參考下2018-09-09python爬蟲爬取筆趣網(wǎng)小說網(wǎng)站過程圖解
這篇文章主要介紹了python爬蟲爬取筆趣網(wǎng)小說網(wǎng)站過程圖解,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-11-11