腳本之家服務(wù)器常用軟件

快捷導(dǎo)航

python 下載文件的幾種方法匯總

更新時間：2021年01月06日 10:58:02 作者：''''''''''''''''竹先森゜

這篇文章主要介紹了python 下載文件的幾種方法匯總，幫助大家更好的理解和使用python，感興趣的朋友可以了解下

前言

　　使用腳本進(jìn)行下載的需求很常見，可以是常規(guī)文件、web頁面、Amazon S3和其他資源。Python 提供了很多模塊從 web 下載文件。下面介紹

一、使用 requests

　　requests 模塊是模仿網(wǎng)頁請求的形式從一個URL下載文件

示例代碼：

import requests

url = 'xxxxxxxx' # 目標(biāo)下載鏈接
r = requests.get(url) # 發(fā)送請求
# 保存
with open ('r.txt', 'rb') as f:
 f.write(r.content)
 f.close

爬蟲請求庫——requests的使用

二、使用 wget

安裝 wget 庫

pip install wget

示例代碼

import wget

url = 'https://pic.cnblogs.com/avatar/1197773/20170712160655.png' # 目標(biāo)路由，下載的資源是圖片
path = 'D:/x.png' # 保存的路徑
wget.download(url, path) # 下載

三、下載重定向資源

　　有些 URL 會被重定向到另一個 URL，后者是真正的下載鏈接。很多軟件的下載其實(shí)都是這樣的形式。URL看起來如下

https://readthedocs.org/projects/python-guide/downloads/pdf/latest

　　重定向的 URL 也可以用 requests 庫進(jìn)行下載，只需加一個參數(shù)就可以

import requests

url = 'https://readthedocs.org/projects/python-guide/downloads/pdf/latest'

# allow_redirect參數(shù)True表示允許重定向
r = requests.get(url, allow_redirect=True)
with open('r.txt', 'wb') as f:
 f.write(r)
 f.close()

四、大文件分塊下載

　　有些文件非常的大，如果我們直接下載，可能會因?yàn)槭录蚧蛘呔W(wǎng)絡(luò)原因造成下載失敗，這時候我可以使用分塊下載的形式進(jìn)行下載。

　　requests 支持分塊下載，只需要將 stream 設(shè)為True 即可

import requests

url = 'https://readthedocs.org/projects/python-guide/downloads/pdf/latest'

# stream參數(shù)True表示分塊下載
r = requests.get(url, stream=True)
with open('r.txt', 'wb') as f:
 for ch in r:
 f.write(r)
 f.close()

五、并行下載

　　多線程、多進(jìn)程并發(fā)下載，大大提高下載速度

import requests
from multiprocessing.poll import Pool

# 定義下載函數(shù)
def url_response(url):
 path, url = url
 r = requests.get(url, stream=True)
 with open(path, 'wb') as f:
 for ch in r:
  f.write(ch)
 f.close()

urls = ['aaa', 'bbb', 'ccc'] # 假設(shè)有好多個下載鏈接

# 排隊(duì)下載的方式
for x in urls:
 url_response(x)

# 并行下載的方式
ThreadPool(3).imap_unordered(url_response, urls)

六、下載中加入進(jìn)度條

　　使用進(jìn)度條更直觀的查看下載進(jìn)度，這里使用 clint 模塊實(shí)現(xiàn)進(jìn)度條功能

pip install clint

下載

import requests
from clint.textui import progess

url = 'xxxxxxxxxxx'
r = requests.get(url, stream=True)
with open('x.txt', 'wb') as f
 total_length = int(r.headers.get('content-length'))
 for ch in progress.bar(r.iter_content(chunk_size=2391975, expected)size=(total_length/1024)+1)):
 if ch:
  f.write(ch)
 f.close()

其他使用進(jìn)度條的案例：Python 實(shí)現(xiàn)進(jìn)度條的六種方式

七、使用 urllib 模塊下載

　　urllib庫是Python的標(biāo)準(zhǔn)庫，因此不需要安裝它。

下載代碼

urllib.request.urlretrieve(URL, PATH)

八、通過代理下載

　　因?yàn)橐恍┍娝苤脑蛭覀兿螺d國外的資源會非常的慢，這時候可以使用代理的方式進(jìn)行下載

requests 模塊使用代理

import requests

# 定義代理，假設(shè)本機(jī)上有個梯子的服務(wù)，代理端口是2258
proxy = {'http': 'http://127.0.0.1:2258'} 

url = 'xxxxxx'
r = requests.get(url, proxies=proxy )
.......

urllib 模塊使用代理

import urllib.request

url = 'xxxxxxxxxx'
proxy = urllib.request.ProxyHandler({'http': '127.0.0.1'})
open_proxy = urllib.request.build_opener(proxy ) # 打開代理
urllib.request.urlretrieve(url)

九、使用 urllib3

　　urllib3 是 urllib 模塊的改進(jìn)版本。使用pip下載并安裝

pip install urllib3

以上就是python 下載文件的幾種方法匯總的詳細(xì)內(nèi)容，更多關(guān)于python 下載文件的資料請關(guān)注腳本之家其它相關(guān)文章！

您可能感興趣的文章:

欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

python 下載文件的幾種方法匯總

前言

一、使用 requests

二、使用 wget

三、下載重定向資源

四、大文件分塊下載

五、并行下載

六、下載中加入進(jìn)度條

七、使用 urllib 模塊下載

八、通過代理下載

requests 模塊使用代理

urllib 模塊使用代理

九、使用 urllib3

相關(guān)文章

最新評論

大家感興趣的內(nèi)容

最近更新的內(nèi)容

常用在線小工具

欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

python 下載文件的幾種方法匯總

前言

一、使用 requests

二、使用 wget

三、下載重定向資源

四、大文件分塊下載

五、并行下載

六、下載中加入進(jìn)度條

七、使用 urllib 模塊下載

八、通過代理下載

requests 模塊使用代理

urllib 模塊使用代理

九、使用 urllib3

相關(guān)文章

最新評論

大家感興趣的內(nèi)容

最近更新的內(nèi)容

常用在線小工具

二、使用 wget

四、大文件分塊下載

五、并行下載

六、下載中加入進(jìn)度條

七、使用 urllib 模塊下載

九、使用 urllib3