python中requests模擬登錄的三種方式(攜帶cookie/session進行請求網站)
一,cookie和session的區(qū)別
cookie在客戶的瀏覽器上,session存在服務器上
cookie是不安全的,且有失效時間
session是在cookie的基礎上,服務端設置session時會向瀏覽器發(fā)送設置一個設置cookie的請求,這個cookie包括session的id當訪問服務端時帶上這個session_id就可以獲取到用戶保存在服務端對應的session
二,爬蟲處理cookie和session
帶上cookie和session的好處:
能夠請求到登錄后的界面
帶上cookie和session的弊端:
一個cookie和session往往和一個用戶對應,訪問太快容易被服務器檢測出來爬蟲
不需要cookie的時候盡量不要用
三,處理session,cookie請求
1,cookie請求方式
1.1 直接使用瀏覽器抓包到的現(xiàn)有的cookie進行訪問網站:
放在header字典里面
header={ "User-Agent":"Mozilla/5.0 (X11; Ubuntu; Linu…) Gecko/20100101 Firefox/64.0", "Cookie":"csrftoken=JfnuMOvgMGZTxtCjvgfZ…6246vb2; username=chengyangkj", } r=request.get(url,headers=header)
當然也可以在發(fā)送get請求時加上cookies的字典參數(shù):
Cookie="csrftoken=JfnuMOvgMGZTxtCjvgfZ…6246vb2; username=chengyangkj"
但是接受的參數(shù)是字典類型的,這就需要我們適用字符串分割方法把cookie字符串轉為字典形式:
Cookie="csrftoken=JfnuMOvgMGZTxtCjvgfZ…6246vb2; username=chengyangkj" cookies={i.split("=")[1]:i.split("=")[1] for i in Cookie.split("; ")} #先使用for循環(huán)遍歷Cookie以”; “(分號和空格)分開的列表 再分別獲取i以等號分割的列表的[0] [1] 位置填入 字典鍵 和值的位置 r=request.get(url,headers=header,cookies=cookies)
適用于cookie過期時間比較長的網站
2.session請求方式
request提供了一個一個叫做session的類,來實現(xiàn)客戶端和服務端的會話保持
使用方法:
1.實例化一個session對象
2.讓session發(fā)送get或post請求
3.再使用session訪問只有登錄之后才能訪問的網站,這時候session會自動帶上服務器保存在其中的信息進行訪問
session=request.session() #實例化session對象 response=session.get(url,header) #使用session對象發(fā)送get請求 就能獲取服務端設置的session對象
到此這篇關于python中requests模擬登錄的三種方式(攜帶cookie/session進行請求網站)的文章就介紹到這了,更多相關python requests模擬登錄 內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!
相關文章
pytest生成Allure報告以及查看報告的實現(xiàn)
本文主要介紹了pytest生成Allure報告以及查看報告的實現(xiàn),文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2023-02-02Python數(shù)據(jù)處理Filter函數(shù)高級用法示例
本文將詳細介紹filter函數(shù)的使用方法,并提供豐富的示例代碼,幫助你深入理解如何利用它來處理數(shù)據(jù),有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2023-11-11Python通過WHL文件實現(xiàn)離線安裝的操作詳解
在Python開發(fā)中,我們經常需要安裝第三方庫來擴展Python的功能,通常情況下,我們可以通過pip命令在線安裝這些庫,此時,WHL(Wheel)文件成為了非常實用的解決方案,本教程將結合實際案例,詳細介紹如何通過WHL文件在Python中進行離線安裝,需要的朋友可以參考下2024-08-08Python pygame 動畫游戲循環(huán)游戲時鐘實現(xiàn)原理
這篇文章主要為大家介紹了Python pygame 動畫游戲循環(huán)游戲時鐘實現(xiàn)原理詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2022-08-08