python實現(xiàn)zip分卷壓縮的詳細方法
1. python實現(xiàn)zip分卷壓縮
WinHex 開始16進制一個一個文件對比 WinRar 創(chuàng)建的分卷壓縮和單個 zip 文件的差異。
如果想把單個大文件 test.zip
-> 分卷文件 test.z01
、test.z02
、test.zip
首先,在創(chuàng)建的第一個分卷文件 test.z01
的前面加上 \x50\x4b\x07\x08
這個是分卷壓縮的文件頭(header),占4個字節(jié)。其實單個壓縮文件本身 header 就有這個了,而分卷壓縮的需要兩個emmm。之后便是從單個大壓縮文件文件test.zip
中讀取 "一個分卷大小 -4 個字節(jié)"的數(shù)據(jù),寫入test.z01
中,如何接著讀取一個分卷大小的數(shù)據(jù),寫入test.z02
,以此類推,最后一個分卷文件名也是test.zip
1.1 代碼如下:
import os import zipfile def zip_by_volume(file_path, block_size): """zip文件分卷壓縮""" file_size = os.path.getsize(file_path) # 文件字節(jié)數(shù) path, file_name = os.path.split(file_path) # 除去文件名以外的path,文件名 suffix = file_name.split('.')[-1] # 文件后綴名 # 添加到臨時壓縮文件 zip_file = file_path + '.zip' with zipfile.ZipFile(zip_file, 'w') as zf: zf.write(file_path, arcname=file_name) # 小于分卷尺寸則直接返回壓縮文件路徑 if file_size <= block_size: return zip_file else: fp = open(zip_file, 'rb') count = file_size // block_size + 1 # 創(chuàng)建分卷壓縮文件的保存路徑 save_dir = path + os.sep + file_name + '_split' if os.path.exists(save_dir): from shutil import rmtree rmtree(save_dir) os.mkdir(save_dir) # 拆分壓縮包為分卷文件 for i in range(1, count + 1): _suffix = 'z{:0>2}'.format(i) if i != count else 'zip' name = save_dir + os.sep + file_name.replace(str(suffix), _suffix) f = open(name, 'wb+') if i == 1: f.write(b'\x50\x4b\x07\x08') # 添加分卷壓縮header(4字節(jié)) f.write(fp.read(block_size - 4)) else: f.write(fp.read(block_size)) fp.close() os.remove(zip_file) # 刪除臨時的 zip 文件 return save_dir if __name__ == '__main__': file = r"D:\Downloads\1.mp4" # 原始文件 volume_size = 1024 * 1024 * 100 # 分卷大小 100MB path = zip_by_volume(file, volume_size) print(path) # 輸出分卷壓縮文件的路徑
1.2 缺點:
該方法創(chuàng)建分卷壓縮的時候,需要先在磁盤創(chuàng)建一個臨時壓縮包,然后將其拆分,實際上會對磁盤寫入兩次,這就浪費了時間。
當(dāng)然,使用 ByteIO 進行字節(jié)流的壓縮,但是這種方式需要先把文件讀入內(nèi)存,對于超級大的文件,這是不現(xiàn)實的,分分鐘內(nèi)存爆炸
到此這篇關(guān)于python實現(xiàn)zip分卷壓縮的文章就介紹到這了,更多相關(guān)python zip分卷壓縮內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Python2到Python3的遷移過程中報錯AttributeError: ‘str‘ objec
在 Python 編程過程中,AttributeError: 'str' object has no attribute 'decode' 是一個常見的錯誤,這通常會在處理字符串時出現(xiàn),尤其是在 Python 2 到 Python 3 的遷移過程中,本文將詳細介紹該問題的根源,并提供解決方案,需要的朋友可以參考下2025-04-04python實現(xiàn)域名系統(tǒng)(DNS)正向查詢的方法
這篇文章主要介紹了python實現(xiàn)域名系統(tǒng)(DNS)正向查詢的方法,結(jié)合實例形式分析了Python使用socket模塊下getaddrinfo方法進行域名查詢的具體技巧,需要的朋友可以參考下2016-04-04解決在pycharm運行代碼,調(diào)用CMD窗口的命令運行顯示亂碼問題
今天小編就為大家分享一篇解決在pycharm運行代碼,調(diào)用CMD窗口的命令運行顯示亂碼問題,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-08-08快速實現(xiàn)基于Python的微信聊天機器人示例代碼
本篇文章主要介紹了快速實現(xiàn)基于Python的微信聊天機器人示例代碼,基于itchat開發(fā),可以用它做一個微信聊天機器人,有興趣的可以了解一下。2017-03-03Python實現(xiàn)Singleton模式的方式詳解
這篇文章主要介紹了Python實現(xiàn)Singleton模式的方式詳解,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-08-08python執(zhí)行子進程實現(xiàn)進程間通信的方法
這篇文章主要介紹了python執(zhí)行子進程實現(xiàn)進程間通信的方法,涉及Python使用subprocess模塊操作進程的相關(guān)技巧,需要的朋友可以參考下2015-06-06Appium+Python+pytest自動化測試框架的實戰(zhàn)
本文主要介紹了Appium+Python+pytest自動化測試框架的實戰(zhàn),文中通過示例代碼介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們可以參考一下2021-12-12