python實(shí)現(xiàn)zip分卷壓縮的詳細(xì)方法
1. python實(shí)現(xiàn)zip分卷壓縮
WinHex 開(kāi)始16進(jìn)制一個(gè)一個(gè)文件對(duì)比 WinRar 創(chuàng)建的分卷壓縮和單個(gè) zip 文件的差異。
如果想把單個(gè)大文件 test.zip
-> 分卷文件 test.z01
、test.z02
、test.zip
首先,在創(chuàng)建的第一個(gè)分卷文件 test.z01
的前面加上 \x50\x4b\x07\x08
這個(gè)是分卷壓縮的文件頭(header),占4個(gè)字節(jié)。其實(shí)單個(gè)壓縮文件本身 header 就有這個(gè)了,而分卷壓縮的需要兩個(gè)emmm。之后便是從單個(gè)大壓縮文件文件test.zip
中讀取 "一個(gè)分卷大小 -4 個(gè)字節(jié)"的數(shù)據(jù),寫入test.z01
中,如何接著讀取一個(gè)分卷大小的數(shù)據(jù),寫入test.z02
,以此類推,最后一個(gè)分卷文件名也是test.zip
1.1 代碼如下:
import os import zipfile def zip_by_volume(file_path, block_size): """zip文件分卷壓縮""" file_size = os.path.getsize(file_path) # 文件字節(jié)數(shù) path, file_name = os.path.split(file_path) # 除去文件名以外的path,文件名 suffix = file_name.split('.')[-1] # 文件后綴名 # 添加到臨時(shí)壓縮文件 zip_file = file_path + '.zip' with zipfile.ZipFile(zip_file, 'w') as zf: zf.write(file_path, arcname=file_name) # 小于分卷尺寸則直接返回壓縮文件路徑 if file_size <= block_size: return zip_file else: fp = open(zip_file, 'rb') count = file_size // block_size + 1 # 創(chuàng)建分卷壓縮文件的保存路徑 save_dir = path + os.sep + file_name + '_split' if os.path.exists(save_dir): from shutil import rmtree rmtree(save_dir) os.mkdir(save_dir) # 拆分壓縮包為分卷文件 for i in range(1, count + 1): _suffix = 'z{:0>2}'.format(i) if i != count else 'zip' name = save_dir + os.sep + file_name.replace(str(suffix), _suffix) f = open(name, 'wb+') if i == 1: f.write(b'\x50\x4b\x07\x08') # 添加分卷壓縮header(4字節(jié)) f.write(fp.read(block_size - 4)) else: f.write(fp.read(block_size)) fp.close() os.remove(zip_file) # 刪除臨時(shí)的 zip 文件 return save_dir if __name__ == '__main__': file = r"D:\Downloads\1.mp4" # 原始文件 volume_size = 1024 * 1024 * 100 # 分卷大小 100MB path = zip_by_volume(file, volume_size) print(path) # 輸出分卷壓縮文件的路徑
1.2 缺點(diǎn):
該方法創(chuàng)建分卷壓縮的時(shí)候,需要先在磁盤創(chuàng)建一個(gè)臨時(shí)壓縮包,然后將其拆分,實(shí)際上會(huì)對(duì)磁盤寫入兩次,這就浪費(fèi)了時(shí)間。
當(dāng)然,使用 ByteIO 進(jìn)行字節(jié)流的壓縮,但是這種方式需要先把文件讀入內(nèi)存,對(duì)于超級(jí)大的文件,這是不現(xiàn)實(shí)的,分分鐘內(nèi)存爆炸
到此這篇關(guān)于python實(shí)現(xiàn)zip分卷壓縮的文章就介紹到這了,更多相關(guān)python zip分卷壓縮內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Python2到Python3的遷移過(guò)程中報(bào)錯(cuò)AttributeError: ‘str‘ objec
在 Python 編程過(guò)程中,AttributeError: 'str' object has no attribute 'decode' 是一個(gè)常見(jiàn)的錯(cuò)誤,這通常會(huì)在處理字符串時(shí)出現(xiàn),尤其是在 Python 2 到 Python 3 的遷移過(guò)程中,本文將詳細(xì)介紹該問(wèn)題的根源,并提供解決方案,需要的朋友可以參考下2025-04-04python實(shí)現(xiàn)域名系統(tǒng)(DNS)正向查詢的方法
這篇文章主要介紹了python實(shí)現(xiàn)域名系統(tǒng)(DNS)正向查詢的方法,結(jié)合實(shí)例形式分析了Python使用socket模塊下getaddrinfo方法進(jìn)行域名查詢的具體技巧,需要的朋友可以參考下2016-04-04解決在pycharm運(yùn)行代碼,調(diào)用CMD窗口的命令運(yùn)行顯示亂碼問(wèn)題
今天小編就為大家分享一篇解決在pycharm運(yùn)行代碼,調(diào)用CMD窗口的命令運(yùn)行顯示亂碼問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-08-08快速實(shí)現(xiàn)基于Python的微信聊天機(jī)器人示例代碼
本篇文章主要介紹了快速實(shí)現(xiàn)基于Python的微信聊天機(jī)器人示例代碼,基于itchat開(kāi)發(fā),可以用它做一個(gè)微信聊天機(jī)器人,有興趣的可以了解一下。2017-03-03Python實(shí)現(xiàn)Singleton模式的方式詳解
這篇文章主要介紹了Python實(shí)現(xiàn)Singleton模式的方式詳解,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-08-08python執(zhí)行子進(jìn)程實(shí)現(xiàn)進(jìn)程間通信的方法
這篇文章主要介紹了python執(zhí)行子進(jìn)程實(shí)現(xiàn)進(jìn)程間通信的方法,涉及Python使用subprocess模塊操作進(jìn)程的相關(guān)技巧,需要的朋友可以參考下2015-06-06Appium+Python+pytest自動(dòng)化測(cè)試框架的實(shí)戰(zhàn)
本文主要介紹了Appium+Python+pytest自動(dòng)化測(cè)試框架的實(shí)戰(zhàn),文中通過(guò)示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2021-12-12Python 實(shí)現(xiàn)文件的全備份和差異備份詳解
這篇文章主要介紹了Python 實(shí)現(xiàn)文件的全備份和差異備份詳解的相關(guān)資料,需要的朋友可以參考下2016-12-12