Python之多線程爬蟲抓取網(wǎng)頁圖片的示例代碼

更新時間：2018年01月10日 10:04:05 作者：斯武丶風(fēng)晴

本篇文章主要介紹了Python之多線程爬蟲抓取網(wǎng)頁圖片的示例代碼，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧

目標(biāo)

嗯，我們知道搜索或?yàn)g覽網(wǎng)站時會有很多精美、漂亮的圖片。

我們下載的時候，得鼠標(biāo)一個個下載，而且還翻頁。

那么，有沒有一種方法，可以使用非人工方式自動識別并下載圖片。美美噠。

那么請使用python語言，構(gòu)建一個抓取和下載網(wǎng)頁圖片的爬蟲。

當(dāng)然為了提高效率，我們同時采用多線程并行方式。

思路分析

Python有很多的第三方庫，可以幫助我們實(shí)現(xiàn)各種各樣的功能。問題在于，我們弄清楚我們需要什么：

1）http請求庫，根據(jù)網(wǎng)站地址可以獲取網(wǎng)頁源代碼。甚至可以下載圖片寫入磁盤。

2）解析網(wǎng)頁源代碼，識別圖片連接地址。比如正則表達(dá)式，或者簡易的第三方庫。

3）支持構(gòu)建多線程或線程池。

4）如果可能，需要偽造成瀏覽器，或繞過網(wǎng)站校驗(yàn)。（嗯，網(wǎng)站有可能會防著爬蟲 ;-)）

5）如果可能，也需要自動創(chuàng)建目錄，隨機(jī)數(shù)、日期時間等相關(guān)內(nèi)容。

如此，我們開始搞事情。O(∩_∩)O~

環(huán)境配置

操作系統(tǒng)：windows 或 linux 皆可

Python版本：Python3.6 ( not Python 2.x 哦)

第三方庫

urllib.request

threading 或者 concurrent.futures 多線程或線程池（python3.2+）

re 正則表達(dá)式內(nèi)置模塊

os 操作系統(tǒng)內(nèi)置模塊

編碼過程

我們分解一下過程。完整源代碼在博文最終提供。

偽裝為瀏覽器

import urllib.request

# ------ 偽裝為瀏覽器 ---
def makeOpener(head={
  'Connection': 'Keep-Alive',
  'Accept': 'text/html, application/xhtml+xml, */*',
  'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',
  'Connection': 'keep-alive',
  'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:57.0) Gecko/20100101 Firefox/57.0'
  }):
  cj = http.cookiejar.CookieJar()
  opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
  header = []
  for key, value in head.items():
    elem = (key, value)
    header.append(elem)
  opener.addheaders = header
  return opener

獲取網(wǎng)頁源代碼

# ------ 獲取網(wǎng)頁源代碼 ---
# url 網(wǎng)頁鏈接地址
def getHtml(url):
  print('url='+url)
  oper = makeOpener()
  if oper is not None:
    page = oper.open(url)
    #print ('-----oper----')
  else:
    req=urllib.request.Request(url)
    # 爬蟲偽裝瀏覽器
    req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64; rv:57.0) Gecko/20100101 Firefox/57.0')
    page = urllib.request.urlopen(req)
  html = page.read()
  if collectHtmlEnabled: #是否采集html
    with open('html.txt', 'wb') as f:
      f.write(html) # 采集到本地文件，來分析
  # ------ 修改html對象內(nèi)的字符編碼為UTF-8 ------
  if chardetSupport:
    cdt = chardet.detect(html)
    charset = cdt['encoding'] #用chardet進(jìn)行內(nèi)容分析
  else:
    charset = 'utf8'
  try:
    result = html.decode(charset)
  except:
    result = html.decode('gbk')
  return result

下載單個圖片

# ------ 根據(jù)圖片url下載圖片 ------
# folderPath 定義圖片存放的目錄 imgUrl 一個圖片的鏈接地址 index 索引，表示第幾個圖片
def downloadImg(folderPath, imgUrl, index):
  # ------ 異常處理 ------
  try:
    imgContent = (urllib.request.urlopen(imgUrl)).read()
  except urllib.error.URLError as e:
    if printLogEnabled : print ('【錯誤】當(dāng)前圖片無法下載')
    return False
  except urllib.error.HTTPError as e:
    if printLogEnabled : print ('【錯誤】當(dāng)前圖片下載異常')
    return False
  else:
    imgeNameFromUrl = os.path.basename(imgUrl)
    if printLogEnabled : print ('正在下載第'+str(index+1)+'張圖片，圖片地址:'+str(imgUrl))
    # ------ IO處理 ------
    isExists=os.path.exists(folderPath)
    if not isExists: # 目錄不存在，則創(chuàng)建
       os.makedirs( folderPath )
       #print ('創(chuàng)建目錄')
    # 圖片名命名規(guī)則，隨機(jī)字符串
    imgName = imgeNameFromUrl
    if len(imgeNameFromUrl) < 8:
      imgName = random_str(4) + random_str(1,'123456789') + random_str(2,'0123456789')+"_" + imgeNameFromUrl
    filename= folderPath + "\\"+str(imgName)+".jpg"
    try:
       with open(filename, 'wb') as f:
         f.write(imgContent) # 寫入本地磁盤
       # if printLogEnabled : print ('下載完成第'+str(index+1)+'張圖片')
    except :
      return False
    return True

下載一批圖片（多線程/線程池模式皆支持）

# ------ 批量下載圖片 ------
# folderPath 定義圖片存放的目錄 imgList 多個圖片的鏈接地址
def downloadImgList(folderPath, imgList):
  index = 0
  # print ('poolSupport='+str(poolSupport))
  if not poolSupport:
   #print ('多線程模式')
   # ------ 多線程編程 ------
   threads = []
   for imgUrl in imgList:
     # if printLogEnabled : print ('準(zhǔn)備下載第'+str(index+1)+'張圖片')
     threads.append(threading.Thread(target=downloadImg,args=(folderPath,imgUrl,index,)))
     index += 1
   for t in threads:
     t.setDaemon(True)
     t.start()
   t.join() #父線程，等待所有線程結(jié)束
   if len(imgList) >0 : print ('下載結(jié)束，存放圖片目錄：' + str(folderPath))
  else:
   #print ('線程池模式')
    # ------ 線程池編程 ------
   futures = []
   # 創(chuàng)建一個最大可容納N個task的線程池 thePoolSize 為 全局變量
   with concurrent.futures.ThreadPoolExecutor(max_workers=thePoolSize) as pool: 
    for imgUrl in imgList:
     # if printLogEnabled : print ('準(zhǔn)備下載第'+str(index+1)+'張圖片')
     futures.append(pool.submit(downloadImg, folderPath, imgUrl, index))
     index += 1
    result = concurrent.futures.wait(futures, timeout=None, return_when='ALL_COMPLETED')
    suc = 0
    for f in result.done:
      if f.result(): suc +=1
    print('下載結(jié)束，總數(shù)：'+str(len(imgList))+'，成功數(shù)：'+str(suc)+'，存放圖片目錄：' + str(folderPath))

調(diào)用例子

如百度貼吧為例

# ------ 下載百度帖子內(nèi)所有圖片 ------
# folderPath 定義圖片存放的目錄 url 百度貼吧鏈接
def downloadImgFromBaidutieba(folderPath='tieba', url='https://tieba.baidu.com/p/5256331871'):
  html = getHtml(url)
  # ------ 利用正則表達(dá)式匹配網(wǎng)頁內(nèi)容找到圖片地址 ------
  #reg = r'src="(.*?\.jpg)"'
  reg = r'src="(.*?/sign=.*?\.jpg)"'
  imgre = re.compile(reg);
  imgList = re.findall(imgre, html)
  print ('找到圖片個數(shù)：' + str(len(imgList)))
  # 下載圖片
  if len(imgList) >0 : downloadImgList(folderPath, imgList) 

# 程序入口
if __name__ == '__main__':
  now = datetime.datetime.now().strftime('%Y-%m-%d %H-%M-%S')
  # 下載百度帖子內(nèi)所有圖片
  downloadImgFromBaidutieba('tieba\\'+now, 'https://tieba.baidu.com/p/5256331871')

效果