Python3中關(guān)于cookie的創(chuàng)建與保存
1.cookie的作用
cookie 是指某些網(wǎng)站為了辨別用戶身份、進行session跟蹤而儲存在用戶本地終端上的數(shù)據(jù),就像有些網(wǎng)站上的一些數(shù)據(jù)是需要登錄后才能看得到,那么想抓取某個頁面內(nèi)容,就需要用到cookie來模擬登陸了。
在用cookie模擬登陸的時候,需要用到python中的CookieJar
,CookieJar中有一些子類,例如:
- FileCookieJar,LWPCookieJar,MoziliaCookieJar
- CookieJar 管理http生成的cookie,負責cookie的存儲工作,向http當中添加指定的cookie
MozillaCookieJar
和LWPCookieJar
類都是FileCookieJar
的子類。實現(xiàn)了具體的把cookie內(nèi)容保存為文件的方法。只是這兩個類對應的標準不同而已。
2 獲取cookie
from http.cookiejar import CookieJar,LWPCookieJar from urllib.request import Request,urlopen,HTTPCookieProcessor,build_opener from urllib.parse import urlencode import ssl # ----------------------------------------獲取cookie--------------------------- # 生成一個管理cookie的對象 cookie_obj = CookieJar() # 創(chuàng)建一個支持cookie的對象,對象屬于HTTPCookieProcessor cookie_handler = HTTPCookieProcessor(cookie_obj) #創(chuàng)建一個opener opener = build_opener(cookie_handler) response = opener.open('http://www.baidu.com') print(response) #打印cookie for cookie in cookie_obj: print('key:',cookie.name) print('value:',cookie.value)
3 保存cookie的文件
from http.cookiejar import CookieJar,LWPCookieJar from urllib.request import Request,urlopen,HTTPCookieProcessor,build_opener filename = 'neihan.txt' # 設置cookie保存的文件 cookie_obj = LWPCookieJar(filename=filename) # 創(chuàng)建一個支持cookie的對象,對象屬于HTTPCookieProcessor cookie_handler = HTTPCookieProcessor(cookie_obj) #創(chuàng)建一個opener opener = build_opener(cookie_handler) #請求網(wǎng)頁 response = opener.open('http://www.neihanshequ.com') # 保存cookie到指定的文件當中去 # ignore_expires=True 即便目標cookie已經(jīng)在文件中存在,仍然對其寫入 # ignore_discard=True 即便cookie將要/已經(jīng)過期,仍然寫入 cookie_obj.save(ignore_expires=True,ignore_discard=True)
4 使用本地的cookie進行請求
from http.cookiejar import CookieJar,LWPCookieJar from urllib.request import Request,urlopen,HTTPCookieProcessor,build_opener cookie = LWPCookieJar() #從文件中讀取cookie到變量 cookie.load('neihan.txt') request = Request('http://www.neihanshequ.com') # 創(chuàng)建一個支持cookie的對象,對象屬于HTTPCookieProcessor cookie_handler = HTTPCookieProcessor(cookie) #創(chuàng)建一個opener opener = build_opener(cookie_handler) #請求網(wǎng)頁 response = opener.open(request) # print(response.read().decode())
5 使用cookie進行模擬登陸
from http.cookiejar import CookieJar,LWPCookieJar from urllib.request import Request,urlopen,HTTPCookieProcessor,build_opener from urllib.parse import urlencode import ssl cookie = LWPCookieJar(filename='meishi.txt') cookie_handler = HTTPCookieProcessor(cookie) opener = build_opener(cookie_handler) headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0' } post_url = 'https://i.meishi.cc/login.php?redirect=https%3A%2F%2Fi.meishi.cc%2Flogin.php%3Fac%3Dzhuce' # urlencode對url當中的參數(shù)進行編碼 # urlencode()編碼的對象為字典類型 post_data = urlencode({ 'username':'***********', #自己的登陸賬號 'password':'************' #自己的登陸密碼 }) # 請求url 并傳參,設置編碼方式 request = Request(post_url,bytes(post_data,encoding='utf-8')) # 解決證書問題 ssl._create_default_https_context = ssl._create_unverified_context response = opener.open(request) print(response.read().decode()) cookie.save(ignore_discard=True,ignore_expires=True)
這里的post_url
是抓包獲取來的
總結(jié)
以上就是這篇文章的全部內(nèi)容了,希望本文的內(nèi)容對大家的學習或者工作具有一定的參考學習價值,謝謝大家對腳本之家的支持。如果你想了解更多相關(guān)內(nèi)容請查看下面相關(guān)鏈接
相關(guān)文章
Python中Turtle庫改變畫筆(海龜)方向的兩種方法總結(jié)
turtle庫是python標準庫之一,入門級繪圖庫,import turtle之后即可使用,下面這篇文章主要給大家介紹了關(guān)于Python中Turtle庫改變畫筆(海龜)方向的兩種方法,需要的朋友可以參考下2022-11-11Python使用moviepy讀取字幕srt文件報錯的解決方法詳解
這篇文章主要為大家詳細介紹了Python使用moviepy讀取字幕srt文件報錯‘gbk‘?codec?can‘t?decode的兩種解決辦法,有需要的小伙伴可以跟隨小編一起學習一下2024-01-01Python數(shù)據(jù)庫安裝及MySQL?Connector應用教程
這篇文章主要為大家介紹了Python數(shù)據(jù)庫安裝及MySQL Connector應用教程,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2023-11-11Python函數(shù)關(guān)鍵字參數(shù)及用法詳解
本文主要介紹了Python函數(shù)關(guān)鍵字參數(shù)及用法詳解,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2023-03-03