python爬蟲中的url下載器用法詳解

更新時間：2020年11月30日 15:27:58 作者：小妮淺淺

在本篇內容里小編給各位整理的是一篇關于python爬蟲中的url下載器用法詳解內容，需要的朋友們參考下。

前期的入庫篩選工作已經(jīng)由url管理器完成了，整理的工作自然要由url下載器接手。當我們需要爬取的數(shù)據(jù)已經(jīng)去重后，下載器的主要任務的是這些數(shù)據(jù)下載下來。所以它的使用也并不復雜，不過需要借助到我們之前所學過的一個庫進行操作，相信之前的基礎大家都學的很牢固。下面小編就來為大家介紹url下載器及其使用的方法。

下載器的作用就是接受URL管理器傳遞給它的一個url，然后把該網(wǎng)頁的內容下載下來。python自帶有urllib和urllib2等庫（這兩個庫在python3中合并為urllib），它們的作用就是獲取指定的網(wǎng)頁內容。不過，在這里我們要使用一個更加簡潔好用而且功能更加強大的模塊：Requests。

Requests并非python自帶模塊，需要安裝。關于其具體使用方法請查看以往文章，在此不多做介紹。

下載器接受一個url作為參數(shù)，返回值為下載到的網(wǎng)頁內容（格式為str）。下面就是一個簡單的下載器，其中只有一個簡單的函數(shù)download()：

'''
-----------------------------------------------------------------
HtmlDownloader
'''
class HtmlDownloader(object):
  def download(self, url):
    print "start download"
    if url is None:
      return None
      print "url is None"
    user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36'
    headers = {'User-Agent':user_agent}
    print "start requests"
    r = requests.get(url, headers=headers)
    #判斷響應狀態(tài)
    if r.status_code == 200:
      r.encoding = 'utf-8'
      print "該頁面下載成功！{}".format(url)
      return r.text
    else:
      print "該頁面下載失?。}".format(url)
    return None

在requests請求中設置User-Agent的目的是偽裝成瀏覽器，這是一只優(yōu)秀的爬蟲應該有的覺悟。

有些小伙伴已經(jīng)猜出來了，requests庫和我們的爬取數(shù)據(jù)密不可分，搭配著url下載器我們就可以成功抓取想要的數(shù)據(jù)了

知識點擴展：

url下載器