快捷導(dǎo)航

Django利用Cookie實(shí)現(xiàn)反爬蟲的例子

更新時(shí)間：2021年04月26日 09:55:36 作者：Erudite

這篇文章主要介紹了Django利用Cookie實(shí)現(xiàn)反爬蟲，本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下

我們知道，Diango 接收的 HTTP 請(qǐng)求信息里帶有 Cookie 信息。Cookie的作用是為了識(shí)別當(dāng)前用戶的身份，通過(guò)以下例子來(lái)說(shuō)明Cookie的作用。例：

瀏覽器向服務(wù)器（Diango）發(fā)送請(qǐng)求，服務(wù)器做出響應(yīng)之后，二者便會(huì)斷開(kāi)連接（會(huì)話結(jié)束），下次用戶再來(lái)請(qǐng)求服務(wù)器，服務(wù)器沒(méi)有辦法識(shí)別此用戶是誰(shuí)，比如用戶登錄功能，如果沒(méi)有 Cookie 機(jī)制支持，那么只能通過(guò)查詢數(shù)據(jù)庫(kù)實(shí)現(xiàn)，并且每次刷新頁(yè)面都要重新操作一次用戶登錄才可以識(shí)別用戶，這會(huì)給開(kāi)發(fā)人員帶來(lái)大量的冗余工作，簡(jiǎn)單的用戶登錄功能會(huì)給服務(wù)器帶來(lái)巨大的負(fù)載壓力。

Cookie 是從瀏覽器向服務(wù)器傳遞數(shù)據(jù)，讓服務(wù)器能夠識(shí)別當(dāng)前用戶，而服務(wù)器對(duì) Cookie 的別機(jī)制是通過(guò) Session 實(shí)現(xiàn)的，Session 存儲(chǔ)了當(dāng)前用戶的基本信息，如姓名，年齡和性別等，由于Cookie 存儲(chǔ)在瀏覽器里面，而且Cookie 的數(shù)據(jù)是由服務(wù)器提供的，如果服務(wù)器將用戶信息直接保存在瀏覽器中，就很容易泄露用戶信息，并且Cookie大小不能超過(guò)4KB，不能支持中文，因此要一種機(jī)制在服務(wù)器的某個(gè)域中存儲(chǔ)用戶數(shù)據(jù)，這個(gè)域就是Session。

總而言之，Cookie 和 Session 是為了解決HTTP協(xié)議無(wú)狀態(tài)的弊端、為了讓瀏覽器和服務(wù)端建立長(zhǎng)久聯(lián)系的會(huì)話而出現(xiàn)的。

Cookie除了解決 HTTP 協(xié)議無(wú)狀態(tài)的弊端之外，還可以利用 Cookie 實(shí)現(xiàn)反爬蟲機(jī)制。隨著大數(shù)據(jù)和人工智能的發(fā)展，爬蟲技術(shù)日益完善，網(wǎng)站為了保護(hù)自身數(shù)據(jù)的安全性和負(fù)載能力，都會(huì)在網(wǎng)站里設(shè)置反爬蟲機(jī)制。

由于 Cookie 是通過(guò) HTTP 協(xié)議從瀏覽器傳遞到服務(wù)器的，因此從視圖函數(shù)的請(qǐng)求對(duì)象 request 可以獲取 Cookie 對(duì)象，而Diango提供以下方法來(lái)操作Cookie對(duì)象：

# 獲取 Cookie 與 Python 的字典讀取方法一致
request。COOKIES['uuid']
request。COOKIES。get('uuid')

# 在響應(yīng)內(nèi)容中添加 Cookie， 將 Cookie 返回給瀏覽器
return HttpResponse('Hello world')
response。set_cookie('key', 'value')
return response

# 在響應(yīng)內(nèi)容中刪除Cookie
return HttpResponse('Hello world')
response。delete_cookie('key')
return response

操作 Cookie 對(duì)象無(wú)非就是對(duì) Cookie 進(jìn)行獲取、添加和刪除處理。添加Cookie 信息是使用 set_cookie 方法實(shí)現(xiàn)的，該方法是由響應(yīng)類 HttpResponseBase 定義的

key：設(shè)ECookie的key，類似字典的key。
value：設(shè) Cookie的value，類似字典的value。
max age：設(shè)置Cookie的有效時(shí)間，以秒為單位。
expires：設(shè)置Cookie的有效時(shí)間，以日期格式為單位。
path：設(shè)置Cookie的生效路徑，默認(rèn)值為根目錄（網(wǎng)站首頁(yè)）
domain：設(shè)置Cookie生效的域名。
secure：設(shè)置傳輸方式，若為False，則使用HTTP，否則使用HTTPS。
httponly：設(shè)置是否只能使用HTTP協(xié)議傳輸。
samesite：設(shè)置強(qiáng)制模式，可選值為 lax 或 strict，主要防止CSRF攻擊。

常見(jiàn)的反爬蟲主要是設(shè)置參數(shù)max_age，expires 和 path。參數(shù) max_age或 expires 用于設(shè)置 Cookie 的有效性，使爬程序無(wú)法長(zhǎng)時(shí)間爬取網(wǎng)站數(shù)據(jù)；參數(shù) path 用于將 Cookie 的生成過(guò)程隱藏起來(lái)，不容易讓爬蟲開(kāi)發(fā)者找到并破解。

希望各位讀者對(duì)Cookie實(shí)現(xiàn)反爬蟲有一定認(rèn)識(shí)。

到此這篇關(guān)于Django利用Cookie實(shí)現(xiàn)反爬蟲的文章就介紹到這了,更多相關(guān)Django反爬蟲內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: