欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

python cookie反爬處理的實現

 更新時間：2020年11月01日 14:11:42   作者：corei5tj  
這篇文章主要介紹了python cookie反爬處理的實現，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧

Cookies的處理

作用
保存客戶端的相關狀態(tài)

在爬蟲中如果遇到了cookie的反爬如何處理?

手動處理
    在抓包工具中捕獲cookie,將其封裝在headers中
    應用場景:cookie沒有有效時長且不是動態(tài)變化

自動處理
 使用session機制
 使用場景:動態(tài)變化的cookie
 session對象:該對象和requests模塊用法幾乎一致.如果在請求的過程中產生了cookie,如果該請求使用session發(fā)起的,則cookie會被自動存儲到session中.

案例

爬取雪球網中的新聞資訊數據:https://xueqiu.com/

#獲取一個session對象
import requests
headers = {
  'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'
}
session = requests.Session()
main_url = 'https://xueqiu.com' #推測對該url發(fā)起請求會產生cookie
session.get(main_url,headers=headers)
url = 'https://xueqiu.com/v4/statuses/public_timeline_by_category.json'
params = {
  'since_id': '-1',
  'max_id': '20346152',
  'count': '15',
  'category': '-1',
}
page_text = session.get(url,headers=headers,params=params).json()
page_text

到此這篇關于python cookie反爬處理的實現的文章就介紹到這了,更多相關python cookie反爬內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！

相關文章

最新評論