Python爬蟲通過替換http request header來欺騙瀏覽器實(shí)現(xiàn)登錄功能
更新時(shí)間：2018年01月07日 15:33:51 作者：huahuayu
這篇文章主要介紹了Python爬蟲通過替換http request header來欺騙瀏覽器實(shí)現(xiàn)登錄功能,需要的朋友可以參考下
以豆瓣為例，訪問https://www.douban.com/contacts/list 來查看自己關(guān)注的人，要登錄才能查看。
如果用requests.get()方法獲取這個(gè)http，沒登錄只能抓取回一個(gè)登錄界面，所以我們要用Python登錄網(wǎng)站才能抓取想要的網(wǎng)頁。
一個(gè)簡便的方法就是自己在瀏覽器上登錄好，然后通過下圖方法（Chrome為例），找到自己的Cookie和User-Agent，然后發(fā)送request時(shí)用這復(fù)制來的header替換掉待發(fā)送的request以達(dá)到登錄的目的，server端會(huì)憑這個(gè)認(rèn)為你是已經(jīng)登錄的用戶。
代碼如下：
import requests
headers = {
'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36',
'Cookie':'gr_user_id=1f9ea7ea-462a-4a6f-9d55-156631fc6d45; bid=vPYpmmD30-k; ll="118282"; ue="codin; __utmz=30149280.1499577720.27.14.utmcsr=douban.com|utmccn=(referral)|utmcmd=referral|utmcct=/doulist/240962/; __utmv=30149280.3049; _vwo_uuid_v2=F04099A9dd; viewed="27607246_26356432"; ap=1; ps=y; push_noty_num=0; push_doumail_num=0; dbcl2="30496987:gZxPfTZW4y0"; ck=13ey; _pk_ref.100001.8cb4=%5B%22%22%2C%22%22%2C1515153574%2C%22https%3A%2F%2Fbook.douban.com%2Fmine%22%5D; __utma=30149280.833870293.1473539740.1514800523.1515153574.50; __utmc=30149280; _pk_id.100001.8cb4=255d8377ad92c57e.1473520329.20.1515153606.1514628010.'
} #替換成自己的cookie
r = requests.get('https://www.douban.com/contacts/list', headers = headers)
print(r.text)
總結(jié)
以上所述是小編個(gè)大家介紹的Python爬蟲通過替換http request header來欺騙瀏覽器實(shí)現(xiàn)登錄 ，希望對(duì)大家有所幫助，如果大家有任何疑問歡迎給我留言，小編會(huì)及時(shí)回復(fù)大家的！
相關(guān)文章
這篇文章主要為大家介紹了python多線程中的定時(shí)器，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2022-01-01
Python?matplotlib繪圖時(shí)使用鼠標(biāo)滾輪放大/縮小圖像
Matplotlib是Python程序員可用的事實(shí)上的繪圖庫,雖然它比交互式繪圖庫在圖形上更簡單,但它仍然可以一個(gè)強(qiáng)大的工具,下面這篇文章主要給大家介紹了關(guān)于Python?matplotlib繪圖時(shí)使用鼠標(biāo)滾輪放大/縮小圖像的相關(guān)資料,需要的朋友可以參考下2022-05-05
大家好，本篇文章主要講的是Python OpenCV圖像模糊處理介紹，感興趣的同學(xué)趕快來看一看吧，對(duì)你有幫助的話記得收藏一下2022-01-01
下面小編就為大家分享一篇python中的文件打開與關(guān)閉操作命令介紹，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-04-04
最近我接到這樣的任務(wù)需求有一個(gè)實(shí)時(shí)任務(wù),想要間隔3分鐘發(fā)送,最近的一次消息,接下來通過本文給大家分享python隨機(jī)3分鐘發(fā)送一次消息,需要的朋友可以參考下2024-03-03
Pandas之DataFrame對(duì)象的列和索引之間的轉(zhuǎn)化
這篇文章主要介紹了Pandas之DataFrame對(duì)象的列和索引之間的轉(zhuǎn)化，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-06-06
python網(wǎng)絡(luò)編程學(xué)習(xí)筆記(二)：socket建立網(wǎng)絡(luò)客戶端
看了這一節(jié)，突然之間對(duì)python網(wǎng)絡(luò)編程學(xué)習(xí)筆記（1）中的一些不理解的問題有了認(rèn)識(shí)，至少明白了socket是怎么回事。這里關(guān)于socket的起源等問題就不做筆記記錄了，直接進(jìn)入主題2014-06-06
Python?JSON數(shù)據(jù)解析過程(最新推薦)
json模塊提供了將JSON格式的數(shù)據(jù)轉(zhuǎn)換為Python對(duì)象（如列表、字典等）以及將Python對(duì)象轉(zhuǎn)換為JSON格式的數(shù)據(jù)的方法,下面給大家分享使用json模塊解析JSON數(shù)據(jù)的常見方法,感興趣的朋友一起看看吧2024-02-02
Python和Java的語法對(duì)比分析語法簡潔上python的確完美勝出
Python是一種廣泛使用的解釋型、高級(jí)編程、通用型編程語言，由吉多·范羅蘇姆創(chuàng)造，第一版發(fā)布于1991年。這篇文章主要介紹了Python和Java的語法對(duì)比，語法簡潔上python的確完美勝出 ,需要的朋友可以參考下2019-05-05
Python3基礎(chǔ)教程之遞歸函數(shù)簡單示例
這篇文章主要給大家介紹了關(guān)于Python3基礎(chǔ)教程之遞歸函數(shù)簡單示例的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家學(xué)習(xí)或者使用Python3具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧2019-06-06