Python3直接爬取圖片URL并保存示例

更新時間：2019年12月18日 10:07:31 作者：TelAntiNomy

今天小編就為大家分享一篇Python3直接爬取圖片URL并保存示例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧

有時候我們會需要從網(wǎng)絡上爬取一些圖片，來滿足我們形形色色直至不可描述的需求。

一個典型的簡單爬蟲項目步驟包括兩步：獲取網(wǎng)頁地址和提取保存數(shù)據(jù)。

這里是一個簡單的從圖片url收集圖片的例子，可以成為一個小小的開始。

獲取地址

這些圖片的URL可能是連續(xù)變化的，如從001遞增到099，這種情況可以在程序中將共同的前面部分截取，再在最后遞增并字符串化后循環(huán)即可。

抑或是它們的URL都保存在某個文件中，這時可以讀取到列表中：

def getUrls(path):
  urls = []
  with open(path,'r') as f:
    for line in f:
      urls.append(line.strip('\n'))
  return(urls)

保存圖片

在python3中，urllib提供了一系列用于操作URL的功能，其中的request模塊可以非常方便地抓取URL內(nèi)容，也就是發(fā)送一個GET請求到指定的頁面，然后返回HTTP的響應。具體細節(jié)請看注釋：

def requestImg(url, name, num_retries=3):
  img_src = url
  # print(img_src)
  header = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) \
    AppleWebKit/537.36 (KHTML, like Gecko) \
      Chrome/35.0.1916.114 Safari/537.36',
    'Cookie': 'AspxAutoDetectCookieSupport=1'
  }
  # Request類可以使用給定的header訪問URL
  req = urllib.request.Request(url=img_src, headers=header) 
  try:
    response = urllib.request.urlopen(req) # 得到訪問的網(wǎng)址
    filename = name + '.jpg'
    with open(filename, "wb") as f:
      content = response.read() # 獲得圖片
      f.write(content) # 保存圖片
      response.close()
  except HTTPError as e: # HTTP響應異常處理
    print(e.reason)
  except URLError as e: # 一定要放到HTTPError之后，因為它包含了前者
    print(e.reason)
  except IncompleteRead or RemoteDisconnected as e: 
    if num_retries == 0: # 重連機制
      return
    else:
      requestImg(url, name, num_retries-1)

其他

捕獲異常

以下是批量爬取網(wǎng)頁時可能需要捕獲的異常，同時可以看出，urllib2庫對應urllib庫，而httplib庫對應http.client：

Python2	Pyhton3
urllib2.HTTPError	urllib.error.HTTPError
urllib2.URLError	urllib.error.URLError (HTTPError被包含其中)
httplib.IncompleteRead	http.client.IncompleteRead
httplib.RemoteDisconnected	http.client.RemoteDisconnected

重連機制

在函數(shù)參數(shù)中設置一個參數(shù)num_retries并對其進行初始化，即默認參數(shù)。在某些異常出現(xiàn)時可以將該參數(shù)遞減，再讓它遞歸調(diào)用自身，這就是基本的重連機制。

修飾器

有種設計模式叫修飾器模式，它可以在不修改目標函數(shù)代碼的前提下，在目標函數(shù)執(zhí)行前后增加一些額外功能。

def clock(func): # 修飾器函數(shù)，對函數(shù)計時
  def clocked(*args):
    t0 = timeit.default_timer()
    result = func(*args)
    elapsed = timeit.default_timer() - t0
    name = func.__name__
    arg_str = ', '.join(repr(arg) for arg in args)
    print('[%0.8fs] %s(%s)' % (elapsed, name, arg_str))
    # print('%s(%s) -> %r [%0.8fs]' % (name, arg_str, result, elapsed))
    return result
  return clocked

上面這段代碼是修飾器函數(shù)的一個例子，用來對函數(shù)運行時間進行計時，在需要計時的函數(shù)上一行添加一點點代碼即可：

@clock

完整代碼

from urllib.error import HTTPError, URLError
from http.client import IncompleteRead, RemoteDisconnected
import timeit, time
import urllib.request
import socket
 
 
# timeout = 20
# socket.setdefaulttimeout(timeout) # 等待，防止被簡單地反爬
 
 
def getUrls(path):
  urls = []
  with open(path,'r') as f:
    for line in f:
      urls.append(line.strip('\n'))
  return(urls)
 
 
def clock(func): # 修飾器函數(shù)，對函數(shù)計時
  def clocked(*args):
    t0 = timeit.default_timer()
    result = func(*args)
    elapsed = timeit.default_timer() - t0
    name = func.__name__
    arg_str = ', '.join(repr(arg) for arg in args)
    print('[%0.8fs] %s(%s)' % (elapsed, name, arg_str))
    # print('%s(%s) -> %r [%0.8fs]' % (name, arg_str, result, elapsed))
    return result
  return clocked
 
 
@clock
def requestImg(url, name, num_retries=3):
  img_src = url
  # print(img_src)
  header = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) \
    AppleWebKit/537.36 (KHTML, like Gecko) \
      Chrome/35.0.1916.114 Safari/537.36',
    'Cookie': 'AspxAutoDetectCookieSupport=1'
  }
  req = urllib.request.Request(url=img_src, headers=header)
  try:
    response = urllib.request.urlopen(req)
    filename = name + '.jpg'
    with open(filename, "wb") as f:
      content = response.read()
      f.write(content)
      response.close()
  except HTTPError as e:
    print(e.reason)
  except URLError as e:
    print(e.reason)
  except IncompleteRead or RemoteDisconnected as e:
    if num_retries == 0:
      return
    else:
      requestImg(url, name, num_retries-1)
 
 
 
if __name__ =='__main__':
  urls = getUrls('./'URLS.txt') # 換成你的URL文件路徑
  nLines = len(urls)
  print(nLines)
  for index, value in enumerate(urls):
      requestImg(value, './'+str(index).zfill(6)) # zfill用來格式化數(shù)字：000001

以上這篇Python3直接爬取圖片URL并保存示例就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。

您可能感興趣的文章: