關(guān)于Python下載大文件時(shí)哪種方式速度更快
方法一
使用以下流式代碼，無(wú)論下載文件的大小如何，Python 內(nèi)存占用都不會(huì)增加：
def download_file(url):
local_filename = url.split('/')[-1]
# 注意傳入?yún)?shù) stream=True
with requests.get(url, stream=True) as r:
r.raise_for_status()
with open(local_filename, 'wb') as f:
for chunk in r.iter_content(chunk_size=8192):
f.write(chunk)
return local_filename如果你有對(duì) chunk 編碼的需求，那就不該傳入 chunk_size 參數(shù)，且應(yīng)該有 if 判斷。
def download_file(url):
local_filename = url.split('/')[-1]
# 注意傳入?yún)?shù) stream=True
with requests.get(url, stream=True) as r:
r.raise_for_status()
with open(local_filename, 'w') as f:
for chunk in r.iter_content():
if chunk:
f.write(chunk.decode("utf-8"))
return local_filenameiter_content [1] 函數(shù)本身也可以解碼，只需要傳入?yún)?shù) decode_unicode = True 即可。
請(qǐng)注意，使用 iter_content 返回的字節(jié)數(shù)并不完全是 chunk_size，它是一個(gè)通常更大的隨機(jī)數(shù)，并且預(yù)計(jì)在每次迭代中都會(huì)有所不同。
方法二
使用 Response.raw 和 shutil.copyfileobj
import requests
import shutil
def download_file(url):
local_filename = url.split('/')[-1]
with requests.get(url, stream=True) as r:
with open(local_filename, 'wb') as f:
shutil.copyfileobj(r.raw, f)
return local_filename這將文件流式傳輸?shù)酱疟P而不使用過多的內(nèi)存，并且代碼更簡(jiǎn)單。
注意：根據(jù)文檔，Response.raw 不會(huì)解碼，因此如果需要可以手動(dòng)替換 r.raw.read 方法
response.raw.read = functools.partial(response.raw.read, decode_content=True)
速度
方法二更快。方法一如果 2-3 MB/s 的話，方法二可以達(dá)到近 40 MB/s。
到此這篇關(guān)于關(guān)于Python下載大文件時(shí)哪種方式速度更快的文章就介紹到這了,更多相關(guān)Python下載大文件方式內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
這篇文章主要介紹了基于python?的Pygame最小開發(fā)框架，文章基于python的相關(guān)資料圍繞主題展開詳細(xì)內(nèi)容需要的小伙伴可以參考一下2022-04-04
ImageKit是一個(gè)用于處理圖像的Django應(yīng)用程序。這篇文章主要介紹了Django-imagekit的使用,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-07-07
這篇文章主要介紹了python生成隨機(jī)密碼或隨機(jī)字符串的方法,涉及Python字符串及隨機(jī)數(shù)的相關(guān)使用技巧,非常簡(jiǎn)單實(shí)用,需要的朋友可以參考下2015-07-07
Python爬蟲實(shí)例之2021貓眼票房字體加密反爬策略(粗略版)
這篇文章主要介紹了Python爬蟲實(shí)例之2021貓眼票房字體加密反爬策略(粗略版),本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2021-02-02
Pytorch中的modle.train,model.eval,with torch.no_grad解讀
這篇文章主要介紹了Pytorch中的modle.train,model.eval,with torch.no_grad解讀，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2022-12-12
本文主要介紹了pycharm中執(zhí)行.sh文件的方法步驟，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-02-02
Python對(duì)FTP交互封裝的實(shí)現(xiàn)
本文主要介紹了Python對(duì)FTP交互封裝的實(shí)現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2022-06-06
PyQt5實(shí)現(xiàn)數(shù)據(jù)的增刪改查功能詳解
這篇文章主要為大家介紹了如何使用Python中的PyQt5模塊來(lái)實(shí)現(xiàn)數(shù)據(jù)的增、刪、改、查功能，文中示例代碼講解詳細(xì)，感興趣的小伙伴可以了解一下2022-03-03
Python利用watchdog模塊監(jiān)控文件變化
這篇文章主要為大家介紹一個(gè)Python中的模塊：watchdog模塊，它可以實(shí)現(xiàn)監(jiān)控文件的變化。文中通過示例詳細(xì)介紹了watchdog模塊的使用，需要的可以參考一下2022-06-06
這篇文章主要介紹了python-字典dict和集合set,字典是python中的一種數(shù)據(jù)結(jié)構(gòu)。集合(set)與字典相同均存儲(chǔ)key，但只存儲(chǔ)key，key不可重復(fù)，所以set中的值不可重復(fù)，而且是無(wú)序，下面來(lái)看看更多相關(guān)內(nèi)容吧2021-12-12