Python爬蟲使用瀏覽器cookies:browsercookie過程解析
很多用Python的人可能都寫過網(wǎng)絡(luò)爬蟲,自動(dòng)化獲取網(wǎng)絡(luò)數(shù)據(jù)確實(shí)是一件令人愉悅的事情,而Python很好的幫助我們達(dá)到這種愉悅。然而,爬蟲經(jīng)常要碰到各種登錄、驗(yàn)證的阻撓,讓人灰心喪氣(網(wǎng)站:天天碰到各種各樣的爬蟲抓我們網(wǎng)站,也很讓人灰心喪氣~)。爬蟲和反爬蟲就是一個(gè)貓和老鼠的游戲,道高一尺魔高一丈,兩者反復(fù)糾纏。
由于http協(xié)議的無狀態(tài)性,登錄驗(yàn)證都是通過傳遞cookies來實(shí)現(xiàn)的。通過瀏覽器登錄一次,登錄信息的cookie是就會(huì)被瀏覽器保存下來。下次再打開該網(wǎng)站時(shí),瀏覽器自動(dòng)帶上保存的cookies,只有cookies還未過期,對(duì)于網(wǎng)站來說你就還是登錄狀態(tài)的。
browsercookie模塊就是這樣一個(gè)從瀏覽器提取保存的cookies的工具。它是一個(gè)很有用的爬蟲工具,通過加載你瀏覽器的cookies到一個(gè)cookiejar對(duì)象里面,讓你輕松下載需要登錄的網(wǎng)頁內(nèi)容。
安裝
pip install browsercookie
在Windows系統(tǒng)中,內(nèi)置的sqlite模塊在加載FireFox數(shù)據(jù)庫時(shí)會(huì)拋出錯(cuò)誤。需要更新sqlite的版本:
pip install pysqlite
使用方法
下面是從網(wǎng)頁提取標(biāo)題的例子:
>>> import re >>> get_title = lambda html: re.findall('<title>(.*?)</title>', html, flags=re.DOTALL)[0].strip()
下面是未登錄狀況下下載得到的標(biāo)題:
>>> import urllib2 >>> url = 'https://bitbucket.org/' >>> public_html = urllib2.urlopen(url).read() >>> get_title(public_html) 'Git and Mercurial code management for teams'
接下來使用browsercookie從登錄過Bitbucket的FireFox里面獲取cookie再下載:
>>> import browsercookie >>> cj = browsercookie.firefox() >>> opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj)) >>> login_html = opener.open(url).read() >>> get_title(login_html) 'richardpenman / home — Bitbucket'
上面是Python2的代碼,再試試 Python3:
>>> import urllib.request >>> public_html = urllib.request.urlopen(url).read() >>> opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
你可以看到你的用戶名出現(xiàn)在title里面了,說明browsercookie模塊成功從FireFox加載了cookies。小編整理一套Python資料和PDF,有需要Python學(xué)習(xí)資料可以加學(xué)習(xí)群:631441315 ,反正閑著也是閑著呢,不如學(xué)點(diǎn)東西啦~~
下面是使用requests的例子,這次我們從Chrome里面加載cookies,當(dāng)然你需要事先用Chrome登錄Bitbucket:
>>> import requests >>> cj = browsercookie.chrome() >>> r = requests.get(url, cookies=cj) >>> get_title(r.content) 'richardpenman / home — Bitbucket'
如果你不知道或不關(guān)心那個(gè)瀏覽器有你需要的cookies,你可以這樣操作:
>>> cj = browsercookie.load() >>> r = requests.get(url, cookies=cj) >>> get_title(r.content) 'richardpenman / home — Bitbucket'
支持
目前,該模塊支持以下平臺(tái):
Chrome: Linux, OSX, Windows
Firefox: Linux, OSX, Windows
以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
Pytorch實(shí)現(xiàn)GoogLeNet的方法
今天小編就為大家分享一篇Pytorch實(shí)現(xiàn)GoogLeNet的方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-08-08Django調(diào)用百度AI接口實(shí)現(xiàn)人臉注冊(cè)登錄代碼實(shí)例
這篇文章主要介紹了Django調(diào)用百度AI接口實(shí)現(xiàn)人臉注冊(cè)登錄,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-04-04Python復(fù)制Excel表格中指定數(shù)據(jù)若干次的方法
本文介紹基于Python語言,讀取Excel表格文件數(shù)據(jù),并基于其中某一列數(shù)據(jù)的值,將這一數(shù)據(jù)處于指定范圍的那一行加以復(fù)制,并將所得結(jié)果保存為新的Excel表格文件的方法,需要的朋友可以參考下2024-02-02Python實(shí)現(xiàn)為PDF大文件批量去除水印
在閱讀過程中如果遇到一些帶有水印的資料是比較煩心的,而市面上去水印的功能有多要收費(fèi)且很不方便,那么,如何通過Python來對(duì)這類圖片水印進(jìn)行去除呢,本文就來和大家分享一下實(shí)現(xiàn)方法吧2023-05-05python ImageDraw類實(shí)現(xiàn)幾何圖形的繪制與文字的繪制
這篇文章主要介紹了python ImageDraw類實(shí)現(xiàn)幾何圖形的繪制與文字的繪制,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-02-02用Python按時(shí)間分割txt文件中的數(shù)據(jù)方法步驟
這篇文章主要給大家介紹了如何用Python按時(shí)間分割txt文件中的數(shù)據(jù)的方法步驟,文中通過代碼示例給大家講解的非常詳細(xì),對(duì)大家學(xué)習(xí)Python處理txt文件有一定的幫助,需要的朋友可以參考下2023-12-12