Python3中關(guān)于cookie的創(chuàng)建與保存
1.cookie的作用
cookie 是指某些網(wǎng)站為了辨別用戶(hù)身份、進(jìn)行session跟蹤而儲(chǔ)存在用戶(hù)本地終端上的數(shù)據(jù),就像有些網(wǎng)站上的一些數(shù)據(jù)是需要登錄后才能看得到,那么想抓取某個(gè)頁(yè)面內(nèi)容,就需要用到cookie來(lái)模擬登陸了。
在用cookie模擬登陸的時(shí)候,需要用到python中的CookieJar,CookieJar中有一些子類(lèi),例如:
- FileCookieJar,LWPCookieJar,MoziliaCookieJar
- CookieJar 管理http生成的cookie,負(fù)責(zé)cookie的存儲(chǔ)工作,向http當(dāng)中添加指定的cookie
MozillaCookieJar和LWPCookieJar類(lèi)都是FileCookieJar的子類(lèi)。實(shí)現(xiàn)了具體的把cookie內(nèi)容保存為文件的方法。只是這兩個(gè)類(lèi)對(duì)應(yīng)的標(biāo)準(zhǔn)不同而已。
2 獲取cookie
from http.cookiejar import CookieJar,LWPCookieJar
from urllib.request import Request,urlopen,HTTPCookieProcessor,build_opener
from urllib.parse import urlencode
import ssl
# ----------------------------------------獲取cookie---------------------------
# 生成一個(gè)管理cookie的對(duì)象
cookie_obj = CookieJar()
# 創(chuàng)建一個(gè)支持cookie的對(duì)象,對(duì)象屬于HTTPCookieProcessor
cookie_handler = HTTPCookieProcessor(cookie_obj)
#創(chuàng)建一個(gè)opener
opener = build_opener(cookie_handler)
response = opener.open('http://www.baidu.com')
print(response)
#打印cookie
for cookie in cookie_obj:
print('key:',cookie.name)
print('value:',cookie.value)
3 保存cookie的文件
from http.cookiejar import CookieJar,LWPCookieJar
from urllib.request import Request,urlopen,HTTPCookieProcessor,build_opener
filename = 'neihan.txt'
# 設(shè)置cookie保存的文件
cookie_obj = LWPCookieJar(filename=filename)
# 創(chuàng)建一個(gè)支持cookie的對(duì)象,對(duì)象屬于HTTPCookieProcessor
cookie_handler = HTTPCookieProcessor(cookie_obj)
#創(chuàng)建一個(gè)opener
opener = build_opener(cookie_handler)
#請(qǐng)求網(wǎng)頁(yè)
response = opener.open('http://www.neihanshequ.com')
# 保存cookie到指定的文件當(dāng)中去
# ignore_expires=True 即便目標(biāo)cookie已經(jīng)在文件中存在,仍然對(duì)其寫(xiě)入
# ignore_discard=True 即便cookie將要/已經(jīng)過(guò)期,仍然寫(xiě)入
cookie_obj.save(ignore_expires=True,ignore_discard=True)
4 使用本地的cookie進(jìn)行請(qǐng)求
from http.cookiejar import CookieJar,LWPCookieJar
from urllib.request import Request,urlopen,HTTPCookieProcessor,build_opener
cookie = LWPCookieJar()
#從文件中讀取cookie到變量
cookie.load('neihan.txt')
request = Request('http://www.neihanshequ.com')
# 創(chuàng)建一個(gè)支持cookie的對(duì)象,對(duì)象屬于HTTPCookieProcessor
cookie_handler = HTTPCookieProcessor(cookie)
#創(chuàng)建一個(gè)opener
opener = build_opener(cookie_handler)
#請(qǐng)求網(wǎng)頁(yè)
response = opener.open(request)
# print(response.read().decode())
5 使用cookie進(jìn)行模擬登陸
from http.cookiejar import CookieJar,LWPCookieJar
from urllib.request import Request,urlopen,HTTPCookieProcessor,build_opener
from urllib.parse import urlencode
import ssl
cookie = LWPCookieJar(filename='meishi.txt')
cookie_handler = HTTPCookieProcessor(cookie)
opener = build_opener(cookie_handler)
headers={
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0'
}
post_url = 'https://i.meishi.cc/login.php?redirect=https%3A%2F%2Fi.meishi.cc%2Flogin.php%3Fac%3Dzhuce'
# urlencode對(duì)url當(dāng)中的參數(shù)進(jìn)行編碼
# urlencode()編碼的對(duì)象為字典類(lèi)型
post_data = urlencode({
'username':'***********', #自己的登陸賬號(hào)
'password':'************' #自己的登陸密碼
})
# 請(qǐng)求url 并傳參,設(shè)置編碼方式
request = Request(post_url,bytes(post_data,encoding='utf-8'))
# 解決證書(shū)問(wèn)題
ssl._create_default_https_context = ssl._create_unverified_context
response = opener.open(request)
print(response.read().decode())
cookie.save(ignore_discard=True,ignore_expires=True)
這里的post_url是抓包獲取來(lái)的
總結(jié)
以上就是這篇文章的全部?jī)?nèi)容了,希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,謝謝大家對(duì)腳本之家的支持。如果你想了解更多相關(guān)內(nèi)容請(qǐng)查看下面相關(guān)鏈接
- Python3+selenium實(shí)現(xiàn)cookie免密登錄的示例代碼
- Python3 Post登錄并且保存cookie登錄其他頁(yè)面的方法
- Python3 使用cookiejar管理cookie的方法
- Python3爬蟲(chóng)之urllib攜帶cookie爬取網(wǎng)頁(yè)的方法
- 利用selenium 3.7和python3添加cookie模擬登陸的實(shí)現(xiàn)
- qpython3 讀取安卓lastpass Cookies
- python3實(shí)現(xiàn)讀取chrome瀏覽器cookie
- Python3爬蟲(chóng)帶上cookie的實(shí)例代碼
相關(guān)文章
在python的類(lèi)中動(dòng)態(tài)添加屬性與生成對(duì)象
這篇文章給大家介紹了如何在python的類(lèi)中動(dòng)態(tài)添加屬性和生成對(duì)象,文中通過(guò)幾個(gè)方面來(lái)進(jìn)行介紹,對(duì)這感興趣的朋友們可以學(xué)習(xí)學(xué)習(xí)。2016-09-09
Python中Turtle庫(kù)改變畫(huà)筆(海龜)方向的兩種方法總結(jié)
turtle庫(kù)是python標(biāo)準(zhǔn)庫(kù)之一,入門(mén)級(jí)繪圖庫(kù),import turtle之后即可使用,下面這篇文章主要給大家介紹了關(guān)于Python中Turtle庫(kù)改變畫(huà)筆(海龜)方向的兩種方法,需要的朋友可以參考下2022-11-11
Python使用moviepy讀取字幕srt文件報(bào)錯(cuò)的解決方法詳解
這篇文章主要為大家詳細(xì)介紹了Python使用moviepy讀取字幕srt文件報(bào)錯(cuò)‘gbk‘?codec?can‘t?decode的兩種解決辦法,有需要的小伙伴可以跟隨小編一起學(xué)習(xí)一下2024-01-01
使用python實(shí)現(xiàn)壓縮PDF文件大小的方法
壓縮 PDF 文件能有效減小文件大小并提高文件傳輸?shù)男?同時(shí)還能節(jié)省計(jì)算機(jī)存儲(chǔ)空間,除了使用一些專(zhuān)業(yè)工具對(duì)PDF文件進(jìn)行壓縮,我們還可以通過(guò) Python 來(lái)執(zhí)行該操作,本文將分享一個(gè)簡(jiǎn)單有效的使用 Python 壓縮 PDF 文件的方法,需要的朋友可以參考下2024-06-06
Python數(shù)據(jù)庫(kù)安裝及MySQL?Connector應(yīng)用教程
這篇文章主要為大家介紹了Python數(shù)據(jù)庫(kù)安裝及MySQL Connector應(yīng)用教程,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-11-11
web自動(dòng)化測(cè)試Selenium點(diǎn)擊元素的常用方法
在Web自動(dòng)化測(cè)試中,Selenium提供多種點(diǎn)擊方法,常用的click()方法通過(guò)選中元素并觸發(fā)點(diǎn)擊事件,若click()方法不穩(wěn)定,可以采用JavaScript執(zhí)行點(diǎn)擊或使用ActionChains類(lèi)模擬鼠標(biāo)點(diǎn)擊,需要的朋友可以參考下2024-09-09
python 遞歸遍歷文件夾,并打印滿(mǎn)足條件的文件路徑實(shí)例
下面小編就為大家?guī)?lái)一篇python 遞歸遍歷文件夾,并打印滿(mǎn)足條件的文件路徑實(shí)例。小編覺(jué)得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2017-08-08
Python函數(shù)關(guān)鍵字參數(shù)及用法詳解
本文主要介紹了Python函數(shù)關(guān)鍵字參數(shù)及用法詳解,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-03-03

