快捷導(dǎo)航

Python實(shí)現(xiàn)批量下載文件的代碼詳解

更新時(shí)間：2025年05月06日 10:07:33 作者：猿界新星蔡

下載文件是我們?cè)谌粘９ぷ髦谐３Ｒ龅囊患虑?當(dāng)我們需要從互聯(lián)網(wǎng)上批量下載大量文件時(shí),手動(dòng)一個(gè)一個(gè)去下載顯然不夠高效,為了解決這個(gè)問(wèn)題,我們可以使用Python編寫(xiě)一個(gè)批量下載文件的腳本,讓它自動(dòng)幫我們下載文件,下面小編給大家詳細(xì)介紹一下

概述

該工具是一個(gè)用 Python 編寫(xiě)的批量下載文件腳本。它從配置文件中讀取下載任務(wù)列表，并并行下載文件，同時(shí)顯示下載進(jìn)度。該工具使用 requests 庫(kù)進(jìn)行 HTTP 請(qǐng)求，使用 tqdm 庫(kù)顯示下載進(jìn)度，并使用 configparser 庫(kù)讀取配置文件。

依賴

在使用該工具之前，請(qǐng)確保已安裝以下庫(kù)：

requests
tqdm

可以使用以下命令安裝所需的庫(kù)：

pip install requests tqdm

配置文件

創(chuàng)建一個(gè)配置文件（例如 downloads.ini），其中包含下載任務(wù)列表。配置文件使用 INI 格式，每個(gè)下載任務(wù)有一個(gè)單獨(dú)的節(jié)，每個(gè)節(jié)包含 url 和 path 兩個(gè)字段。

示例配置文件 downloads.ini：

[file1]
url = http://example.com/file1.jpg
path = downloads/file1.jpg

[file2]
url = http://example.com/file2.jpg
path = downloads/file2.jpg

[file3]
url = http://example.com/file3.jpg
path = downloads/file3.jpg

運(yùn)行腳本

將以下代碼保存為 batch_download.py：

import os
import requests
from concurrent.futures import ThreadPoolExecutor
from tqdm import tqdm
import configparser
import argparse

def download_file(task):
    """
    下載單個(gè)文件并保存到指定路徑，并顯示下載進(jìn)度
    """
    url = task['url']
    path = task['path']
    
    try:
        os.makedirs(os.path.dirname(path), exist_ok=True)
        
        with requests.get(url, stream=True) as r:
            r.raise_for_status()
            total_size = int(r.headers.get('content-length', 0))
            with open(path, 'wb') as f, tqdm(
                total=total_size, unit='B', unit_scale=True, desc=os.path.basename(path)
            ) as pbar:
                for chunk in r.iter_content(chunk_size=8192):
                    f.write(chunk)
                    pbar.update(len(chunk))
        
        print(f'{path} 下載完成')
    except Exception as e:
        print(f'下載 {url} 失敗: {e}')

def read_config(config_path):
    """
    從配置文件讀取下載任務(wù)列表
    """
    config = configparser.ConfigParser()
    config.read(config_path)
    tasks = []
    for section in config.sections():
        url = config[section]['url']
        path = config[section]['path']
        tasks.append({'url': url, 'path': path})
    return tasks

def main(config_path):
    """
    主函數(shù)，讀取配置文件并并行下載文件
    """
    tasks = read_config(config_path)
    
    with ThreadPoolExecutor(max_workers=5) as executor:
        executor.map(download_file, tasks)

if __name__ == '__main__':
    parser = argparse.ArgumentParser(description='批量下載文件工具')
    parser.add_argument('config', type=str, help='配置文件路徑')
    args = parser.parse_args()
    
    main(args.config)

使用方法

創(chuàng)建配置文件：按照上述示例創(chuàng)建 downloads.ini 文件，并根據(jù)需要修改下載任務(wù)。
運(yùn)行腳本：在命令行中運(yùn)行以下命令，指定配置文件路徑：

python batch_download.py downloads.ini

代碼功能說(shuō)明

導(dǎo)入庫(kù)

import os
import requests
from concurrent.futures import ThreadPoolExecutor
from tqdm import tqdm
import configparser
import argparse

download_file 函數(shù)：下載單個(gè)文件并保存到指定路徑，同時(shí)顯示下載進(jìn)度。

def download_file(task):
    url = task['url']
    path = task['path']
    
    try:
        os.makedirs(os.path.dirname(path), exist_ok=True)
        
        with requests.get(url, stream=True) as r:
            r.raise_for_status()
            total_size = int(r.headers.get('content-length', 0))
            with open(path, 'wb') as f, tqdm(
                total=total_size, unit='B', unit_scale=True, desc=os.path.basename(path)
            ) as pbar:
                for chunk in r.iter_content(chunk_size=8192):
                    f.write(chunk)
                    pbar.update(len(chunk))
        
        print(f'{path} 下載完成')
    except Exception as e:
        print(f'下載 {url} 失敗: {e}')

read_config 函數(shù)：從配置文件讀取下載任務(wù)列表。

def read_config(config_path):
    config = configparser.ConfigParser()
    config.read(config_path)
    tasks = []
    for section in config.sections():
        url = config[section]['url']
        path = config[section]['path']
        tasks.append({'url': url, 'path': path})
    return tasks

main 函數(shù)：讀取配置文件并并行下載文件。

def main(config_path):
    tasks = read_config(config_path)
    
    with ThreadPoolExecutor(max_workers=5) as executor:
        executor.map(download_file, tasks)

命令行參數(shù)解析：使用 argparse 解析命令行參數(shù)，指定配置文件路徑。

if __name__ == '__main__':
    parser = argparse.ArgumentParser(description='批量下載文件工具')
    parser.add_argument('config', type=str, help='配置文件路徑')
    args = parser.parse_args()
    
    main(args.config)