Python如何使用Requests下載文件并且顯示進(jìn)度條

更新時(shí)間：2024年12月17日 09:35:45 作者：LLLibra146

這篇文章主要為大家詳細(xì)介紹了如何使用?Requests?下載文件并且顯示進(jìn)度條,文中的示例代碼講解詳細(xì),感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下

引言

本篇文章來分享一下如何使用 Requests 下載文件并且顯示進(jìn)度條。

下載文件

說到下載文件，大家可能一下子就能寫出以下的代碼：

import requests

total = 10485
url = f'https://speed.cloudflare.com/__down?during=download&bytes={total}'
# 上面的 URL 是 cloudflare 的測(cè)試鏈接，可以傳入想要下載的長(zhǎng)度
res = requests.get(url)

with open('test.file', 'wb') as file:
    file.write(res.content)
print('下載完成')

這樣寫當(dāng)然沒問題，但是有幾個(gè)問題：

文件內(nèi)容都放到了內(nèi)存中，并且沒有下載進(jìn)度
如果文件很大，不光下載時(shí)間很久，而且占用很大內(nèi)存無法釋放，只有下載完成后才能釋放
沒有下載進(jìn)度，不知道下載是否還在進(jìn)行中，不知道何時(shí)結(jié)束，不知道下載的狀態(tài)

Requests 分塊下載

為了解決上面的問題，我們需要用到流式傳輸，在使用 Requests 進(jìn)行下載時(shí)，只需要將 stream 設(shè)置 True，即可開啟流式傳輸，Requests 不會(huì)從服務(wù)器一次性將內(nèi)容全部下載到本地，而是根據(jù)需求分塊的從服務(wù)器獲取內(nèi)容，然后對(duì)內(nèi)容進(jìn)行處理。

舉個(gè)例子：

import json
import requests

r = requests.get('https://httpbin.org/stream/20', stream=True)

for line in r.iter_lines():

    # filter out keep-alive new lines
    if line:
        decoded_line = line.decode('utf-8')
        print(json.loads(decoded_line))

給下載加上進(jìn)度條

為了解決下載的時(shí)候沒有進(jìn)度像是卡住的問題，可以在下載的時(shí)候加上進(jìn)度條，并且分塊進(jìn)行下載，而不是將數(shù)據(jù)全部放到內(nèi)存中，防止占用過大的內(nèi)存。

進(jìn)度條我們使用tqdm 庫，tqdm 庫是一個(gè)功能強(qiáng)大且極具實(shí)用性的 Python 進(jìn)度條工具，它能夠以直觀的可視化進(jìn)度條形式清晰展示循環(huán)迭代、文件處理等各類任務(wù)的執(zhí)行進(jìn)度，極大提升程序運(yùn)行狀態(tài)的可視性與用戶體驗(yàn)，廣泛應(yīng)用于數(shù)據(jù)處理、機(jī)器學(xué)習(xí)訓(xùn)練等眾多領(lǐng)域，方便開發(fā)者與使用者實(shí)時(shí)掌握任務(wù)進(jìn)展情況并有效優(yōu)化程序運(yùn)行流程。

先安裝：

poetry add tqdm
# 或者
pip install tqdm

安裝好后，對(duì)之前的下載代碼進(jìn)行優(yōu)化，并且使用流式傳輸方法改造一下：

import requests
from tqdm import tqdm

total = 104857600  # 100M
url = f'https://speed.cloudflare.com/__down?during=download&bytes={total}'
res = requests.get(url, stream=True)
# 上面的 URL 是 cloudflare 的測(cè)試鏈接，可以傳入想要下載的長(zhǎng)度，如果是正常的下載文件，需要通過下面的代碼來獲取總長(zhǎng)度
# file_size = int(response.headers.get("Content - Length", 0))
print(total)
with open('test.file', 'wb') as file, tqdm(
        desc='test.file',
        total=total,
        unit='iB',
        unit_scale=True,
        unit_divisor=1024,
) as bar:
    for data in res.iter_content(chunk_size=1024):
        size = file.write(data)
        bar.update(size)

下載效果：