python cookie反爬處理的實(shí)現(xiàn)
Cookies的處理
作用
保存客戶(hù)端的相關(guān)狀態(tài)
在爬蟲(chóng)中如果遇到了cookie的反爬如何處理?
手動(dòng)處理
在抓包工具中捕獲cookie,將其封裝在headers中
應(yīng)用場(chǎng)景:cookie沒(méi)有有效時(shí)長(zhǎng)且不是動(dòng)態(tài)變化
自動(dòng)處理
使用session機(jī)制
使用場(chǎng)景:動(dòng)態(tài)變化的cookie
session對(duì)象:該對(duì)象和requests模塊用法幾乎一致.如果在請(qǐng)求的過(guò)程中產(chǎn)生了cookie,如果該請(qǐng)求使用session發(fā)起的,則cookie會(huì)被自動(dòng)存儲(chǔ)到session中.
案例
爬取雪球網(wǎng)中的新聞資訊數(shù)據(jù):https://xueqiu.com/
#獲取一個(gè)session對(duì)象
import requests
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'
}
session = requests.Session()
main_url = 'https://xueqiu.com' #推測(cè)對(duì)該url發(fā)起請(qǐng)求會(huì)產(chǎn)生cookie
session.get(main_url,headers=headers)
url = 'https://xueqiu.com/v4/statuses/public_timeline_by_category.json'
params = {
'since_id': '-1',
'max_id': '20346152',
'count': '15',
'category': '-1',
}
page_text = session.get(url,headers=headers,params=params).json()
page_text
到此這篇關(guān)于python cookie反爬處理的實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)python cookie反爬內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
python 讀文件,然后轉(zhuǎn)化為矩陣的實(shí)例
下面小編就為大家分享一篇python 讀文件,然后轉(zhuǎn)化為矩陣的實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-04-04
Python實(shí)現(xiàn)列表中非負(fù)數(shù)保留,負(fù)數(shù)轉(zhuǎn)化為指定的數(shù)值方式
這篇文章主要介紹了Python實(shí)現(xiàn)列表中非負(fù)數(shù)保留,負(fù)數(shù)轉(zhuǎn)化為指定的數(shù)值方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-06-06
今天小編就為大家分享一篇python 實(shí)現(xiàn)繪制整齊的表格，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-11-11
django filter過(guò)濾器實(shí)現(xiàn)顯示某個(gè)類(lèi)型指定字段不同值方式
這篇文章主要介紹了django filter過(guò)濾器實(shí)現(xiàn)顯示某個(gè)類(lèi)型指定字段不同值方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-07-07
這篇文章主要介紹了Python編程實(shí)現(xiàn)正則刪除命令功能,涉及Python針對(duì)文件與目錄的正則匹配、刪除等相關(guān)操作技巧,需要的朋友可以參考下2017-08-08
python實(shí)現(xiàn)一次性封裝多條sql語(yǔ)句(begin end)
這篇文章主要介紹了python實(shí)現(xiàn)一次性封裝多條sql語(yǔ)句(begin end)，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-06-06
用Python實(shí)現(xiàn)二叉樹(shù)、二叉樹(shù)非遞歸遍歷及繪制的例子
今天小編就為大家分享一篇用Python實(shí)現(xiàn)二叉樹(shù)、二叉樹(shù)非遞歸遍歷及繪制的例子，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-08-08
django實(shí)現(xiàn)類(lèi)似觸發(fā)器的功能
今天小編就為大家分享一篇django實(shí)現(xiàn)類(lèi)似觸發(fā)器的功能，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-11-11
Python使用PDFMiner解析PDF代碼實(shí)例
本篇文章主要介紹了Python使用PDFMiner解析PDF代碼實(shí)例，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2017-03-03
Python繪制圣誕樹(shù)+落葉+雪花+背景音樂(lè)+浪漫彈窗?五合一版圣誕樹(shù)
馬上不就到圣誕節(jié)了嘛，我看到朋友圈里很多小伙伴再紛紛炫耀自己收到的專(zhuān)屬圣誕樹(shù)，今天小編給大家介紹的是通過(guò)Python繪制的五合一版圣誕樹(shù):圣誕樹(shù)+落葉+雪花+背景音樂(lè)+浪漫彈窗。感興趣的小伙伴快來(lái)學(xué)習(xí)一下吧2021-12-12