python 下載文件的幾種方法匯總
前言
使用腳本進(jìn)行下載的需求很常見(jiàn)，可以是常規(guī)文件、web頁(yè)面、Amazon S3和其他資源。Python 提供了很多模塊從 web 下載文件。下面介紹
一、使用 requests
requests 模塊是模仿網(wǎng)頁(yè)請(qǐng)求的形式從一個(gè)URL下載文件
示例代碼：
import requests
url = 'xxxxxxxx' # 目標(biāo)下載鏈接
r = requests.get(url) # 發(fā)送請(qǐng)求
# 保存
with open ('r.txt', 'rb') as f:
f.write(r.content)
f.close
爬蟲(chóng)請(qǐng)求庫(kù)——requests的使用
二、使用 wget
安裝 wget 庫(kù)
pip install wget
示例代碼
import wget url = 'https://pic.cnblogs.com/avatar/1197773/20170712160655.png' # 目標(biāo)路由，下載的資源是圖片 path = 'D:/x.png' # 保存的路徑 wget.download(url, path) # 下載
三、下載重定向資源
有些 URL 會(huì)被重定向到另一個(gè) URL，后者是真正的下載鏈接。很多軟件的下載其實(shí)都是這樣的形式。URL看起來(lái)如下
https://readthedocs.org/projects/python-guide/downloads/pdf/latest
重定向的 URL 也可以用 requests 庫(kù)進(jìn)行下載，只需加一個(gè)參數(shù)就可以
import requests
url = 'https://readthedocs.org/projects/python-guide/downloads/pdf/latest'
# allow_redirect參數(shù)True表示允許重定向
r = requests.get(url, allow_redirect=True)
with open('r.txt', 'wb') as f:
f.write(r)
f.close()
四、大文件分塊下載
有些文件非常的大，如果我們直接下載，可能會(huì)因?yàn)槭录蚧蛘呔W(wǎng)絡(luò)原因造成下載失敗，這時(shí)候我可以使用分塊下載的形式進(jìn)行下載。
requests 支持分塊下載，只需要將 stream 設(shè)為T(mén)rue 即可
import requests
url = 'https://readthedocs.org/projects/python-guide/downloads/pdf/latest'
# stream參數(shù)True表示分塊下載
r = requests.get(url, stream=True)
with open('r.txt', 'wb') as f:
for ch in r:
f.write(r)
f.close()
五、并行下載
多線(xiàn)程、多進(jìn)程并發(fā)下載，大大提高下載速度
import requests from multiprocessing.poll import Pool # 定義下載函數(shù) def url_response(url): path, url = url r = requests.get(url, stream=True) with open(path, 'wb') as f: for ch in r: f.write(ch) f.close() urls = ['aaa', 'bbb', 'ccc'] # 假設(shè)有好多個(gè)下載鏈接 # 排隊(duì)下載的方式 for x in urls: url_response(x) # 并行下載的方式 ThreadPool(3).imap_unordered(url_response, urls)
六、下載中加入進(jìn)度條
使用進(jìn)度條更直觀的查看下載進(jìn)度，這里使用 clint 模塊實(shí)現(xiàn)進(jìn)度條功能
pip install clint
下載
import requests
from clint.textui import progess
url = 'xxxxxxxxxxx'
r = requests.get(url, stream=True)
with open('x.txt', 'wb') as f
total_length = int(r.headers.get('content-length'))
for ch in progress.bar(r.iter_content(chunk_size=2391975, expected)size=(total_length/1024)+1)):
if ch:
f.write(ch)
f.close()
其他使用進(jìn)度條的案例：Python 實(shí)現(xiàn)進(jìn)度條的六種方式
七、使用 urllib 模塊下載
urllib庫(kù)是Python的標(biāo)準(zhǔn)庫(kù)，因此不需要安裝它。
下載代碼
urllib.request.urlretrieve(URL, PATH)
八、通過(guò)代理下載
因?yàn)橐恍┍娝苤脑蛭覀兿螺d國(guó)外的資源會(huì)非常的慢，這時(shí)候可以使用代理的方式進(jìn)行下載
requests 模塊使用代理
import requests
# 定義代理，假設(shè)本機(jī)上有個(gè)梯子的服務(wù)，代理端口是2258
proxy = {'http': 'http://127.0.0.1:2258'}
url = 'xxxxxx'
r = requests.get(url, proxies=proxy )
.......
urllib 模塊使用代理
import urllib.request
url = 'xxxxxxxxxx'
proxy = urllib.request.ProxyHandler({'http': '127.0.0.1'})
open_proxy = urllib.request.build_opener(proxy ) # 打開(kāi)代理
urllib.request.urlretrieve(url)
九、使用 urllib3
urllib3 是 urllib 模塊的改進(jìn)版本。使用pip下載并安裝
pip install urllib3
以上就是python 下載文件的幾種方法匯總的詳細(xì)內(nèi)容，更多關(guān)于python 下載文件的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
這篇文章主要為大家詳細(xì)介紹了python簡(jiǎn)單貪吃蛇開(kāi)發(fā)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2019-01-01
Python Django 通用視圖和錯(cuò)誤視圖的使用代碼
這篇文章主要介紹了Python Django 通用視圖和錯(cuò)誤視圖的使用,本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2023-04-04
在本篇文章中小編給大家整理了關(guān)于python開(kāi)發(fā)前景的知識(shí)點(diǎn)及相關(guān)內(nèi)容，有興趣的朋友們可以跟著學(xué)習(xí)參考下。2020-06-06
Python實(shí)現(xiàn)抓取城市的PM2.5濃度和排名
本文給大家介紹的是一則使用Python實(shí)現(xiàn)抓取城市的PM2.5數(shù)據(jù)和排名，2015-03-03
python實(shí)現(xiàn)提取COCO,VOC數(shù)據(jù)集中特定的類(lèi)
這篇文章主要介紹了python實(shí)現(xiàn)提取COCO,VOC數(shù)據(jù)集中特定的類(lèi)，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-03-03
本文實(shí)例講述了Python模型封裝部署的原理與實(shí)現(xiàn)方法。封裝即是隱藏對(duì)象的屬性和實(shí)現(xiàn)細(xì)節(jié)，僅對(duì)外提供公共訪(fǎng)問(wèn)方式,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2022-08-08
Python函數(shù)isalnum用法示例小結(jié)
isalnum()函數(shù)是Python中的一個(gè)內(nèi)置函數(shù),用于判斷字符串是否只由數(shù)字和字母組成,其內(nèi)部實(shí)現(xiàn)原理比較簡(jiǎn)單,只需遍歷字符串中的每一個(gè)字符即可,這篇文章主要介紹了Python函數(shù)isalnum用法介紹,需要的朋友可以參考下2024-01-01
這篇文章主要介紹了Python字符串處理之count()方法的使用,是Python入門(mén)的基礎(chǔ)知識(shí),需要的朋友可以參考下2015-05-05
Python小白必備的8個(gè)最常用的內(nèi)置函數(shù)（推薦）
這篇文章主要介紹了Python常用的內(nèi)置函數(shù)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-04-04
Python應(yīng)用自動(dòng)化部署工具Fabric原理及使用解析
這篇文章主要介紹了Python應(yīng)用自動(dòng)化部署工具Fabric原理及使用解析,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-11-11