Python3直接爬取圖片URL并保存示例
有時(shí)候我們會(huì)需要從網(wǎng)絡(luò)上爬取一些圖片,來滿足我們形形色色直至不可描述的需求。
一個(gè)典型的簡(jiǎn)單爬蟲項(xiàng)目步驟包括兩步:獲取網(wǎng)頁地址和提取保存數(shù)據(jù)。
這里是一個(gè)簡(jiǎn)單的從圖片url收集圖片的例子,可以成為一個(gè)小小的開始。
獲取地址
這些圖片的URL可能是連續(xù)變化的,如從001遞增到099,這種情況可以在程序中將共同的前面部分截取,再在最后遞增并字符串化后循環(huán)即可。
抑或是它們的URL都保存在某個(gè)文件中,這時(shí)可以讀取到列表中:
def getUrls(path): urls = [] with open(path,'r') as f: for line in f: urls.append(line.strip('\n')) return(urls)
保存圖片
在python3中,urllib提供了一系列用于操作URL的功能,其中的request模塊可以非常方便地抓取URL內(nèi)容,也就是發(fā)送一個(gè)GET請(qǐng)求到指定的頁面,然后返回HTTP的響應(yīng)。具體細(xì)節(jié)請(qǐng)看注釋:
def requestImg(url, name, num_retries=3): img_src = url # print(img_src) header = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) \ AppleWebKit/537.36 (KHTML, like Gecko) \ Chrome/35.0.1916.114 Safari/537.36', 'Cookie': 'AspxAutoDetectCookieSupport=1' } # Request類可以使用給定的header訪問URL req = urllib.request.Request(url=img_src, headers=header) try: response = urllib.request.urlopen(req) # 得到訪問的網(wǎng)址 filename = name + '.jpg' with open(filename, "wb") as f: content = response.read() # 獲得圖片 f.write(content) # 保存圖片 response.close() except HTTPError as e: # HTTP響應(yīng)異常處理 print(e.reason) except URLError as e: # 一定要放到HTTPError之后,因?yàn)樗饲罢? print(e.reason) except IncompleteRead or RemoteDisconnected as e: if num_retries == 0: # 重連機(jī)制 return else: requestImg(url, name, num_retries-1)
其他
捕獲異常
以下是批量爬取網(wǎng)頁時(shí)可能需要捕獲的異常,同時(shí)可以看出,urllib2庫(kù)對(duì)應(yīng)urllib庫(kù),而httplib庫(kù)對(duì)應(yīng)http.client:
Python2 | Pyhton3 |
---|---|
urllib2.HTTPError | urllib.error.HTTPError |
urllib2.URLError | urllib.error.URLError (HTTPError被包含其中) |
httplib.IncompleteRead | http.client.IncompleteRead |
httplib.RemoteDisconnected | http.client.RemoteDisconnected |
重連機(jī)制
在函數(shù)參數(shù)中設(shè)置一個(gè)參數(shù)num_retries并對(duì)其進(jìn)行初始化,即默認(rèn)參數(shù)。在某些異常出現(xiàn)時(shí)可以將該參數(shù)遞減,再讓它遞歸調(diào)用自身,這就是基本的重連機(jī)制。
修飾器
有種設(shè)計(jì)模式叫修飾器模式,它可以在不修改目標(biāo)函數(shù)代碼的前提下,在目標(biāo)函數(shù)執(zhí)行前后增加一些額外功能。
def clock(func): # 修飾器函數(shù),對(duì)函數(shù)計(jì)時(shí) def clocked(*args): t0 = timeit.default_timer() result = func(*args) elapsed = timeit.default_timer() - t0 name = func.__name__ arg_str = ', '.join(repr(arg) for arg in args) print('[%0.8fs] %s(%s)' % (elapsed, name, arg_str)) # print('%s(%s) -> %r [%0.8fs]' % (name, arg_str, result, elapsed)) return result return clocked
上面這段代碼是修飾器函數(shù)的一個(gè)例子,用來對(duì)函數(shù)運(yùn)行時(shí)間進(jìn)行計(jì)時(shí),在需要計(jì)時(shí)的函數(shù)上一行添加一點(diǎn)點(diǎn)代碼即可:
@clock
完整代碼
from urllib.error import HTTPError, URLError from http.client import IncompleteRead, RemoteDisconnected import timeit, time import urllib.request import socket # timeout = 20 # socket.setdefaulttimeout(timeout) # 等待,防止被簡(jiǎn)單地反爬 def getUrls(path): urls = [] with open(path,'r') as f: for line in f: urls.append(line.strip('\n')) return(urls) def clock(func): # 修飾器函數(shù),對(duì)函數(shù)計(jì)時(shí) def clocked(*args): t0 = timeit.default_timer() result = func(*args) elapsed = timeit.default_timer() - t0 name = func.__name__ arg_str = ', '.join(repr(arg) for arg in args) print('[%0.8fs] %s(%s)' % (elapsed, name, arg_str)) # print('%s(%s) -> %r [%0.8fs]' % (name, arg_str, result, elapsed)) return result return clocked @clock def requestImg(url, name, num_retries=3): img_src = url # print(img_src) header = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) \ AppleWebKit/537.36 (KHTML, like Gecko) \ Chrome/35.0.1916.114 Safari/537.36', 'Cookie': 'AspxAutoDetectCookieSupport=1' } req = urllib.request.Request(url=img_src, headers=header) try: response = urllib.request.urlopen(req) filename = name + '.jpg' with open(filename, "wb") as f: content = response.read() f.write(content) response.close() except HTTPError as e: print(e.reason) except URLError as e: print(e.reason) except IncompleteRead or RemoteDisconnected as e: if num_retries == 0: return else: requestImg(url, name, num_retries-1) if __name__ =='__main__': urls = getUrls('./'URLS.txt') # 換成你的URL文件路徑 nLines = len(urls) print(nLines) for index, value in enumerate(urls): requestImg(value, './'+str(index).zfill(6)) # zfill用來格式化數(shù)字:000001
以上這篇Python3直接爬取圖片URL并保存示例就是小編分享給大家的全部?jī)?nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
- Python爬蟲:通過關(guān)鍵字爬取百度圖片
- Python爬蟲爬取一個(gè)網(wǎng)頁上的圖片地址實(shí)例代碼
- Python爬取網(wǎng)頁中的圖片(搜狗圖片)詳解
- Python使用爬蟲爬取靜態(tài)網(wǎng)頁圖片的方法詳解
- python3 爬取圖片的實(shí)例代碼
- Python爬蟲爬取網(wǎng)站圖片
- python實(shí)現(xiàn)爬取百度圖片的方法示例
- python爬蟲爬取圖片的簡(jiǎn)單代碼
- Python 爬蟲批量爬取網(wǎng)頁圖片保存到本地的實(shí)現(xiàn)代碼
- python爬蟲實(shí)戰(zhàn)項(xiàng)目之爬取pixiv圖片
相關(guān)文章
python實(shí)現(xiàn)大文本文件分割成多個(gè)小文件
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)大文本文件分割成多個(gè)小文件,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2021-04-04Python+OpenCV實(shí)現(xiàn)圖像識(shí)別替換功能詳解
OpenCV-Python是一個(gè)Python庫(kù),旨在解決計(jì)算機(jī)視覺問題。本文將利用Python+OpenCV實(shí)現(xiàn)圖像識(shí)別替換功能,感興趣的小伙伴可以動(dòng)手嘗試一下2022-07-07python使用xlsx和pandas處理Excel表格的操作步驟
python的神器pandas庫(kù)就可以非常方便地處理excel,csv,矩陣,表格 等數(shù)據(jù),下面這篇文章主要給大家介紹了關(guān)于python使用xlsx和pandas處理Excel表格的操作步驟,文中通過圖文介紹的非常詳細(xì),需要的朋友可以參考下2023-01-01Python網(wǎng)絡(luò)請(qǐng)求之Requests庫(kù)的高級(jí)功能運(yùn)用
在這篇文章中我們將進(jìn)一步深入學(xué)習(xí)Requests庫(kù)的高級(jí)功能,包括處理重定向,設(shè)置超時(shí),處理大文件以及錯(cuò)誤和異常處理,需要的朋友可以參考下2023-08-08Tornado 多進(jìn)程實(shí)現(xiàn)分析詳解
這篇文章主要介紹了Tornado 多進(jìn)程實(shí)現(xiàn)分析詳解,具有一定借鑒價(jià)值,需要的朋友可以參考下2018-01-01python中SQLAlchemy使用前端頁面實(shí)現(xiàn)插入數(shù)據(jù)
這篇文章主要介紹了SQLAlchemy使用前端頁面實(shí)現(xiàn)插入數(shù)據(jù),文章內(nèi)容介紹詳細(xì)巨頭有一定的參考價(jià)值,需要的小伙伴可以參考一下2022-03-03Python中處理unchecked未捕獲異常實(shí)例
這篇文章主要介紹了Python中處理unchecked未捕獲異常實(shí)例,本文講解使用回調(diào)或者是鉤子來處理unchecked異常,需要的朋友可以參考下2015-01-01利用Python2下載單張圖片與爬取網(wǎng)頁圖片實(shí)例代碼
這篇文章主要給大家介紹了關(guān)于利用Python2下載單張圖片與爬取網(wǎng)頁圖片的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧。2017-12-12