很多用Python的人可能都寫過(guò)網(wǎng)絡(luò)爬蟲，自動(dòng)化獲取網(wǎng)絡(luò)數(shù)據(jù)確實(shí)是一件令人愉悅的事情，而Python很好的幫助我們達(dá)到這種愉悅。然而，爬蟲經(jīng)常要碰到各種登錄、驗(yàn)證的阻撓，讓人灰心喪氣（網(wǎng)站：天天碰到各種各樣的爬蟲抓我們網(wǎng)站，也很讓人灰心喪氣～）。爬蟲和反爬蟲就是一個(gè)貓和老鼠的游戲，道高一尺魔高一丈，兩者反復(fù)糾纏。

由于http協(xié)議的無(wú)狀態(tài)性，登錄驗(yàn)證都是通過(guò)傳遞cookies來(lái)實(shí)現(xiàn)的。通過(guò)瀏覽器登錄一次，登錄信息的cookie是就會(huì)被瀏覽器保存下來(lái)。下次再打開(kāi)該網(wǎng)站時(shí)，瀏覽器自動(dòng)帶上保存的cookies，只有cookies還未過(guò)期，對(duì)于網(wǎng)站來(lái)說(shuō)你就還是登錄狀態(tài)的。

browsercookie模塊就是這樣一個(gè)從瀏覽器提取保存的cookies的工具。它是一個(gè)很有用的爬蟲工具，通過(guò)加載你瀏覽器的cookies到一個(gè)cookiejar對(duì)象里面，讓你輕松下載需要登錄的網(wǎng)頁(yè)內(nèi)容。

安裝

pip install browsercookie

在Windows系統(tǒng)中，內(nèi)置的sqlite模塊在加載FireFox數(shù)據(jù)庫(kù)時(shí)會(huì)拋出錯(cuò)誤。需要更新sqlite的版本：

pip install pysqlite

使用方法

下面是從網(wǎng)頁(yè)提取標(biāo)題的例子：

>>> import re
>>> get_title = lambda html: re.findall('<title>(.*?)</title>', html, flags=re.DOTALL)[0].strip()

下面是未登錄狀況下下載得到的標(biāo)題：

>>> import urllib2
>>> url = 'https://bitbucket.org/'
>>> public_html = urllib2.urlopen(url).read()
>>> get_title(public_html)
'Git and Mercurial code management for teams'

接下來(lái)使用browsercookie從登錄過(guò)Bitbucket的FireFox里面獲取cookie再下載：

>>> import browsercookie
>>> cj = browsercookie.firefox()
>>> opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
>>> login_html = opener.open(url).read()
>>> get_title(login_html)
'richardpenman / home — Bitbucket'

上面是Python2的代碼，再試試 Python3:

>>> import urllib.request
>>> public_html = urllib.request.urlopen(url).read()
>>> opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))

你可以看到你的用戶名出現(xiàn)在title里面了，說(shuō)明browsercookie模塊成功從FireFox加載了cookies。小編整理一套Python資料和PDF，有需要Python學(xué)習(xí)資料可以加學(xué)習(xí)群：631441315 ，反正閑著也是閑著呢，不如學(xué)點(diǎn)東西啦~~

下面是使用requests的例子，這次我們從Chrome里面加載cookies，當(dāng)然你需要事先用Chrome登錄Bitbucket：

>>> import requests
>>> cj = browsercookie.chrome()
>>> r = requests.get(url, cookies=cj)
>>> get_title(r.content)
'richardpenman / home — Bitbucket'

如果你不知道或不關(guān)心那個(gè)瀏覽器有你需要的cookies，你可以這樣操作：

>>> cj = browsercookie.load()
>>> r = requests.get(url, cookies=cj)
>>> get_title(r.content)
'richardpenman / home — Bitbucket'

支持

目前，該模塊支持以下平臺(tái)：

Chrome: Linux, OSX, Windows

Firefox: Linux, OSX, Windows

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。