爬蟲代理的cookie如何生成運行
HTTP是用于互聯(lián)網(wǎng)傳輸數(shù)據(jù)信息到本地的一種傳送協(xié)議
我們在瀏覽器中輸入輸入關(guān)鍵詞,會返回頁面內(nèi)容。這就是我們用瀏覽器向網(wǎng)站所在的服務(wù)器發(fā)送了一個請求,網(wǎng)站的服務(wù)器接收到這個請求后進行解析,然后把網(wǎng)頁內(nèi)容呈現(xiàn)出來。
有時候服務(wù)器網(wǎng)站會檢測IP在一個時間段內(nèi)的請求次數(shù),如果過于頻繁,就會拒絕服務(wù),簡稱為封IP。
HTTP代理就是用別人的IP進行訪問,進行IP偽裝。
除非是訪問網(wǎng)站或APP專用數(shù)據(jù)api接口,正常的HTTP請求都需要進行ua(User-Agent)優(yōu)化,因為ua是瀏覽器標識,如果http請求沒有ua,或ua太少,都會被網(wǎng)站運維統(tǒng)計異常的,ua越豐富分布就越真實。cookie最好是登陸獲取的,一般訪客的cookie,對方限制會比較嚴格,可以控制一個地區(qū)新訪客的訪問頻率。另外反爬統(tǒng)計的js也要分析下,是不是做了機器人判斷,有沒有做窗口分辨率判斷等。
生成cookie:
import os
import time
import zipfile
from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait
class GenCookies(object):
USER_AGENT = open('useragents.txt').readlines()
# www.16yun.cn 代理配置
PROXY_HOST = 't.16yun.cn' # proxy or host
PROXY_PORT = 31111 # port
PROXY_USER = 'USERNAME' # username
PROXY_PASS = 'PASSWORD' # password
def open(self):
"""
打開網(wǎng)頁輸入用戶名密碼并點擊
:return: None
"""
self.browser.delete_all_cookies()
self.browser.get(self.url)
username = self.wait.until(EC.presence_of_element_located((By.ID, 'loginName')))
password = self.wait.until(EC.presence_of_element_located((By.ID, 'loginPassword')))
submit = self.wait.until(EC.element_to_be_clickable((By.ID, 'loginAction')))
username.send_keys(self.username)
password.send_keys(self.password)
time.sleep(1)
submit.click()
def password_error(self):
"""
判斷是否密碼錯誤
:return:
"""
try:
return WebDriverWait(self.browser, 5).until(
EC.text_to_be_present_in_element((By.ID, 'errorMsg'), '用戶名或密碼錯誤'))
except TimeoutException:
return False
def get_cookies(self):
"""
獲取Cookies
:return:
"""
return self.browser.get_cookies()
運行cookie:
API接口開始運行
* Running on http://0.0.0.0:5000/ (Press CTRL+C to quit)
Cookies生成進程開始運行
Cookies檢測進程開始運行
正在生成Cookies 賬號 180000000 密碼 16yun
正在測試Cookies 用戶名 180000000
Cookies有效 180000000
如果HTTP請求成功,HTTP的狀態(tài)碼會返回200且返回數(shù)據(jù)。當然其他HTTP其他狀態(tài)碼也有,403表示禁止訪問,504服務(wù)器內(nèi)部出錯等等。
以上就是爬蟲代理的cookie如何生成運行的詳細內(nèi)容,更多關(guān)于爬蟲代理 cookie的資料請關(guān)注腳本之家其它相關(guān)文章!
- Vue+element+cookie記住密碼功能的簡單實現(xiàn)方法
- 在vue中使用cookie記住用戶上次選擇的實例(本次例子中為下拉框)
- 如何使用jQuery操作Cookies方法解析
- Vue axios 跨域請求無法帶上cookie的解決
- Springboot中登錄后關(guān)于cookie和session攔截問題的案例分析
- Selenium webdriver添加cookie實現(xiàn)過程詳解
- Python3爬蟲帶上cookie的實例代碼
- PHP如何獲取Cookie并實現(xiàn)模擬登錄
- SpringBoot中使用Cookie實現(xiàn)記住登錄的示例代碼
- 通過實例了解cookie機制特性及使用方法
相關(guān)文章
python使用suds調(diào)用webservice接口的方法
今天小編就為大家分享一篇python使用suds調(diào)用webservice接口的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-01-01
詳解Python如何在多層循環(huán)中使用break/continue
關(guān)于break/continue這兩個關(guān)鍵字在平常的使用過程中一直比較迷糊。所以本文將詳細講講Python如何在多層循環(huán)中使用break/continue,需要的可以參考一下2022-05-05
使用python爬蟲實現(xiàn)網(wǎng)絡(luò)股票信息爬取的demo
下面小編就為大家分享一篇使用python爬蟲實現(xiàn)網(wǎng)絡(luò)股票信息爬取的demo,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-01-01
Python的matplotlib繪圖如何修改背景顏色的實現(xiàn)
這篇文章主要介紹了Python的matplotlib繪圖如何修改背景顏色的實現(xiàn),文中通過示例代碼介紹的非常詳細,對大家的學(xué)習或者工作具有一定的參考學(xué)習價值,需要的朋友們下面隨著小編來一起學(xué)習學(xué)習吧2019-07-07
解決Python3.7.0 SSL低版本導(dǎo)致Pip無法使用問題
這篇文章主要介紹了解決Python3.7.0 SSL低版本導(dǎo)致Pip無法使用問題,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-09-09
django中url映射規(guī)則和服務(wù)端響應(yīng)順序的實現(xiàn)
這篇文章主要介紹了django中url映射規(guī)則和服務(wù)端響應(yīng)順序的實現(xiàn),文中通過示例代碼介紹的非常詳細,對大家的學(xué)習或者工作具有一定的參考學(xué)習價值,需要的朋友們下面隨著小編來一起學(xué)習學(xué)習吧2020-04-04
python中的PywebIO模塊制作一個數(shù)據(jù)大屏
這篇文章主要介紹了python中的PywebIO模塊制作一個數(shù)據(jù)大屏,一個制作數(shù)據(jù)大屏的工具,非常的好用,100行的Python代碼就可以制作出來一個完整的數(shù)據(jù)大屏,并且代碼的邏輯非常容易理解,需要的朋友可以參考一下2022-03-03

