python實(shí)現(xiàn)zip分卷壓縮的詳細(xì)方法
1. python實(shí)現(xiàn)zip分卷壓縮
WinHex 開始16進(jìn)制一個(gè)一個(gè)文件對(duì)比 WinRar 創(chuàng)建的分卷壓縮和單個(gè) zip 文件的差異。

如果想把單個(gè)大文件 test.zip -> 分卷文件 test.z01、test.z02、test.zip
首先,在創(chuàng)建的第一個(gè)分卷文件 test.z01的前面加上 \x50\x4b\x07\x08 這個(gè)是分卷壓縮的文件頭(header),占4個(gè)字節(jié)。其實(shí)單個(gè)壓縮文件本身 header 就有這個(gè)了,而分卷壓縮的需要兩個(gè)emmm。之后便是從單個(gè)大壓縮文件文件test.zip中讀取 "一個(gè)分卷大小 -4 個(gè)字節(jié)"的數(shù)據(jù),寫入test.z01中,如何接著讀取一個(gè)分卷大小的數(shù)據(jù),寫入test.z02,以此類推,最后一個(gè)分卷文件名也是test.zip
1.1 代碼如下:
import os
import zipfile
def zip_by_volume(file_path, block_size):
"""zip文件分卷壓縮"""
file_size = os.path.getsize(file_path) # 文件字節(jié)數(shù)
path, file_name = os.path.split(file_path) # 除去文件名以外的path,文件名
suffix = file_name.split('.')[-1] # 文件后綴名
# 添加到臨時(shí)壓縮文件
zip_file = file_path + '.zip'
with zipfile.ZipFile(zip_file, 'w') as zf:
zf.write(file_path, arcname=file_name)
# 小于分卷尺寸則直接返回壓縮文件路徑
if file_size <= block_size:
return zip_file
else:
fp = open(zip_file, 'rb')
count = file_size // block_size + 1
# 創(chuàng)建分卷壓縮文件的保存路徑
save_dir = path + os.sep + file_name + '_split'
if os.path.exists(save_dir):
from shutil import rmtree
rmtree(save_dir)
os.mkdir(save_dir)
# 拆分壓縮包為分卷文件
for i in range(1, count + 1):
_suffix = 'z{:0>2}'.format(i) if i != count else 'zip'
name = save_dir + os.sep + file_name.replace(str(suffix), _suffix)
f = open(name, 'wb+')
if i == 1:
f.write(b'\x50\x4b\x07\x08') # 添加分卷壓縮header(4字節(jié))
f.write(fp.read(block_size - 4))
else:
f.write(fp.read(block_size))
fp.close()
os.remove(zip_file) # 刪除臨時(shí)的 zip 文件
return save_dir
if __name__ == '__main__':
file = r"D:\Downloads\1.mp4" # 原始文件
volume_size = 1024 * 1024 * 100 # 分卷大小 100MB
path = zip_by_volume(file, volume_size)
print(path) # 輸出分卷壓縮文件的路徑1.2 缺點(diǎn):
該方法創(chuàng)建分卷壓縮的時(shí)候,需要先在磁盤創(chuàng)建一個(gè)臨時(shí)壓縮包,然后將其拆分,實(shí)際上會(huì)對(duì)磁盤寫入兩次,這就浪費(fèi)了時(shí)間。
當(dāng)然,使用 ByteIO 進(jìn)行字節(jié)流的壓縮,但是這種方式需要先把文件讀入內(nèi)存,對(duì)于超級(jí)大的文件,這是不現(xiàn)實(shí)的,分分鐘內(nèi)存爆炸
到此這篇關(guān)于python實(shí)現(xiàn)zip分卷壓縮的文章就介紹到這了,更多相關(guān)python zip分卷壓縮內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Python2到Python3的遷移過程中報(bào)錯(cuò)AttributeError: ‘str‘ objec
在 Python 編程過程中,AttributeError: 'str' object has no attribute 'decode' 是一個(gè)常見的錯(cuò)誤,這通常會(huì)在處理字符串時(shí)出現(xiàn),尤其是在 Python 2 到 Python 3 的遷移過程中,本文將詳細(xì)介紹該問題的根源,并提供解決方案,需要的朋友可以參考下2025-04-04
python實(shí)現(xiàn)域名系統(tǒng)(DNS)正向查詢的方法
這篇文章主要介紹了python實(shí)現(xiàn)域名系統(tǒng)(DNS)正向查詢的方法,結(jié)合實(shí)例形式分析了Python使用socket模塊下getaddrinfo方法進(jìn)行域名查詢的具體技巧,需要的朋友可以參考下2016-04-04
解決在pycharm運(yùn)行代碼,調(diào)用CMD窗口的命令運(yùn)行顯示亂碼問題
今天小編就為大家分享一篇解決在pycharm運(yùn)行代碼,調(diào)用CMD窗口的命令運(yùn)行顯示亂碼問題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-08-08
快速實(shí)現(xiàn)基于Python的微信聊天機(jī)器人示例代碼
本篇文章主要介紹了快速實(shí)現(xiàn)基于Python的微信聊天機(jī)器人示例代碼,基于itchat開發(fā),可以用它做一個(gè)微信聊天機(jī)器人,有興趣的可以了解一下。2017-03-03
Python實(shí)現(xiàn)Singleton模式的方式詳解
這篇文章主要介紹了Python實(shí)現(xiàn)Singleton模式的方式詳解,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-08-08
python執(zhí)行子進(jìn)程實(shí)現(xiàn)進(jìn)程間通信的方法
這篇文章主要介紹了python執(zhí)行子進(jìn)程實(shí)現(xiàn)進(jìn)程間通信的方法,涉及Python使用subprocess模塊操作進(jìn)程的相關(guān)技巧,需要的朋友可以參考下2015-06-06
Appium+Python+pytest自動(dòng)化測(cè)試框架的實(shí)戰(zhàn)
本文主要介紹了Appium+Python+pytest自動(dòng)化測(cè)試框架的實(shí)戰(zhàn),文中通過示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2021-12-12
Python 實(shí)現(xiàn)文件的全備份和差異備份詳解
這篇文章主要介紹了Python 實(shí)現(xiàn)文件的全備份和差異備份詳解的相關(guān)資料,需要的朋友可以參考下2016-12-12

