爬蟲代理的cookie如何生成運行
HTTP是用于互聯(lián)網(wǎng)傳輸數(shù)據(jù)信息到本地的一種傳送協(xié)議
我們在瀏覽器中輸入輸入關(guān)鍵詞,會返回頁面內(nèi)容。這就是我們用瀏覽器向網(wǎng)站所在的服務(wù)器發(fā)送了一個請求,網(wǎng)站的服務(wù)器接收到這個請求后進(jìn)行解析,然后把網(wǎng)頁內(nèi)容呈現(xiàn)出來。
有時候服務(wù)器網(wǎng)站會檢測IP在一個時間段內(nèi)的請求次數(shù),如果過于頻繁,就會拒絕服務(wù),簡稱為封IP。
HTTP代理就是用別人的IP進(jìn)行訪問,進(jìn)行IP偽裝。
除非是訪問網(wǎng)站或APP專用數(shù)據(jù)api接口,正常的HTTP請求都需要進(jìn)行ua(User-Agent)優(yōu)化,因為ua是瀏覽器標(biāo)識,如果http請求沒有ua,或ua太少,都會被網(wǎng)站運維統(tǒng)計異常的,ua越豐富分布就越真實。cookie最好是登陸獲取的,一般訪客的cookie,對方限制會比較嚴(yán)格,可以控制一個地區(qū)新訪客的訪問頻率。另外反爬統(tǒng)計的js也要分析下,是不是做了機器人判斷,有沒有做窗口分辨率判斷等。
生成cookie:
import os import time import zipfile from selenium import webdriver from selenium.common.exceptions import TimeoutException from selenium.webdriver.common.by import By from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.support.ui import WebDriverWait class GenCookies(object): USER_AGENT = open('useragents.txt').readlines() # www.16yun.cn 代理配置 PROXY_HOST = 't.16yun.cn' # proxy or host PROXY_PORT = 31111 # port PROXY_USER = 'USERNAME' # username PROXY_PASS = 'PASSWORD' # password
def open(self): """ 打開網(wǎng)頁輸入用戶名密碼并點擊 :return: None """ self.browser.delete_all_cookies() self.browser.get(self.url) username = self.wait.until(EC.presence_of_element_located((By.ID, 'loginName'))) password = self.wait.until(EC.presence_of_element_located((By.ID, 'loginPassword'))) submit = self.wait.until(EC.element_to_be_clickable((By.ID, 'loginAction'))) username.send_keys(self.username) password.send_keys(self.password) time.sleep(1) submit.click() def password_error(self): """ 判斷是否密碼錯誤 :return: """ try: return WebDriverWait(self.browser, 5).until( EC.text_to_be_present_in_element((By.ID, 'errorMsg'), '用戶名或密碼錯誤')) except TimeoutException: return False def get_cookies(self): """ 獲取Cookies :return: """ return self.browser.get_cookies()
運行cookie:
API接口開始運行
* Running on http://0.0.0.0:5000/ (Press CTRL+C to quit)
Cookies生成進(jìn)程開始運行
Cookies檢測進(jìn)程開始運行
正在生成Cookies 賬號 180000000 密碼 16yun
正在測試Cookies 用戶名 180000000
Cookies有效 180000000
如果HTTP請求成功,HTTP的狀態(tài)碼會返回200且返回數(shù)據(jù)。當(dāng)然其他HTTP其他狀態(tài)碼也有,403表示禁止訪問,504服務(wù)器內(nèi)部出錯等等。
以上就是爬蟲代理的cookie如何生成運行的詳細(xì)內(nèi)容,更多關(guān)于爬蟲代理 cookie的資料請關(guān)注腳本之家其它相關(guān)文章!
- Vue+element+cookie記住密碼功能的簡單實現(xiàn)方法
- 在vue中使用cookie記住用戶上次選擇的實例(本次例子中為下拉框)
- 如何使用jQuery操作Cookies方法解析
- Vue axios 跨域請求無法帶上cookie的解決
- Springboot中登錄后關(guān)于cookie和session攔截問題的案例分析
- Selenium webdriver添加cookie實現(xiàn)過程詳解
- Python3爬蟲帶上cookie的實例代碼
- PHP如何獲取Cookie并實現(xiàn)模擬登錄
- SpringBoot中使用Cookie實現(xiàn)記住登錄的示例代碼
- 通過實例了解cookie機制特性及使用方法
相關(guān)文章
python使用suds調(diào)用webservice接口的方法
今天小編就為大家分享一篇python使用suds調(diào)用webservice接口的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-01-01詳解Python如何在多層循環(huán)中使用break/continue
關(guān)于break/continue這兩個關(guān)鍵字在平常的使用過程中一直比較迷糊。所以本文將詳細(xì)講講Python如何在多層循環(huán)中使用break/continue,需要的可以參考一下2022-05-05使用python爬蟲實現(xiàn)網(wǎng)絡(luò)股票信息爬取的demo
下面小編就為大家分享一篇使用python爬蟲實現(xiàn)網(wǎng)絡(luò)股票信息爬取的demo,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-01-01Python的matplotlib繪圖如何修改背景顏色的實現(xiàn)
這篇文章主要介紹了Python的matplotlib繪圖如何修改背景顏色的實現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-07-07解決Python3.7.0 SSL低版本導(dǎo)致Pip無法使用問題
這篇文章主要介紹了解決Python3.7.0 SSL低版本導(dǎo)致Pip無法使用問題,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-09-09django中url映射規(guī)則和服務(wù)端響應(yīng)順序的實現(xiàn)
這篇文章主要介紹了django中url映射規(guī)則和服務(wù)端響應(yīng)順序的實現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-04-04python中的PywebIO模塊制作一個數(shù)據(jù)大屏
這篇文章主要介紹了python中的PywebIO模塊制作一個數(shù)據(jù)大屏,一個制作數(shù)據(jù)大屏的工具,非常的好用,100行的Python代碼就可以制作出來一個完整的數(shù)據(jù)大屏,并且代碼的邏輯非常容易理解,需要的朋友可以參考一下2022-03-03