欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

爬蟲代理的cookie如何生成運行

 更新時間:2020年09月22日 09:17:32   作者:laical  
這篇文章主要介紹了爬蟲代理的cookie如何生成運行,幫助大家更好的理解和使用爬蟲,感興趣的朋友可以了解下

HTTP是用于互聯(lián)網(wǎng)傳輸數(shù)據(jù)信息到本地的一種傳送協(xié)議

我們在瀏覽器中輸入輸入關(guān)鍵詞,會返回頁面內(nèi)容。這就是我們用瀏覽器向網(wǎng)站所在的服務(wù)器發(fā)送了一個請求,網(wǎng)站的服務(wù)器接收到這個請求后進(jìn)行解析,然后把網(wǎng)頁內(nèi)容呈現(xiàn)出來。

有時候服務(wù)器網(wǎng)站會檢測IP在一個時間段內(nèi)的請求次數(shù),如果過于頻繁,就會拒絕服務(wù),簡稱為封IP。

HTTP代理就是用別人的IP進(jìn)行訪問,進(jìn)行IP偽裝。

除非是訪問網(wǎng)站或APP專用數(shù)據(jù)api接口,正常的HTTP請求都需要進(jìn)行ua(User-Agent)優(yōu)化,因為ua是瀏覽器標(biāo)識,如果http請求沒有ua,或ua太少,都會被網(wǎng)站運維統(tǒng)計異常的,ua越豐富分布就越真實。cookie最好是登陸獲取的,一般訪客的cookie,對方限制會比較嚴(yán)格,可以控制一個地區(qū)新訪客的訪問頻率。另外反爬統(tǒng)計的js也要分析下,是不是做了機器人判斷,有沒有做窗口分辨率判斷等。

生成cookie:

import os
import time
import zipfile

from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait


class GenCookies(object):
  USER_AGENT = open('useragents.txt').readlines()
  # www.16yun.cn 代理配置
  PROXY_HOST = 't.16yun.cn' # proxy or host
  PROXY_PORT = 31111 # port
  PROXY_USER = 'USERNAME' # username
  PROXY_PASS = 'PASSWORD' # password
def open(self):
    """
    打開網(wǎng)頁輸入用戶名密碼并點擊
    :return: None
    """
    self.browser.delete_all_cookies()
    self.browser.get(self.url)
    username = self.wait.until(EC.presence_of_element_located((By.ID, 'loginName')))
    password = self.wait.until(EC.presence_of_element_located((By.ID, 'loginPassword')))
    submit = self.wait.until(EC.element_to_be_clickable((By.ID, 'loginAction')))
    username.send_keys(self.username)
    password.send_keys(self.password)
    time.sleep(1)
    submit.click()

  def password_error(self):
    """
    判斷是否密碼錯誤
    :return:
    """
    try:
      return WebDriverWait(self.browser, 5).until(
        EC.text_to_be_present_in_element((By.ID, 'errorMsg'), '用戶名或密碼錯誤'))
    except TimeoutException:
      return False

  def get_cookies(self):
    """
    獲取Cookies
    :return:
    """
    return self.browser.get_cookies()

運行cookie:

API接口開始運行
* Running on http://0.0.0.0:5000/ (Press CTRL+C to quit)
Cookies生成進(jìn)程開始運行
Cookies檢測進(jìn)程開始運行
正在生成Cookies 賬號 180000000 密碼 16yun
正在測試Cookies 用戶名 180000000
Cookies有效 180000000

如果HTTP請求成功,HTTP的狀態(tài)碼會返回200且返回數(shù)據(jù)。當(dāng)然其他HTTP其他狀態(tài)碼也有,403表示禁止訪問,504服務(wù)器內(nèi)部出錯等等。

以上就是爬蟲代理的cookie如何生成運行的詳細(xì)內(nèi)容,更多關(guān)于爬蟲代理 cookie的資料請關(guān)注腳本之家其它相關(guān)文章!

相關(guān)文章

  • Python學(xué)習(xí)之迭代器詳解

    Python學(xué)習(xí)之迭代器詳解

    這篇文章主要介紹了Python中的一個新的概念,那就是迭代器 。迭代器的使用可以幫助我們提升代碼的性能,接下來讓我們深入了解一下迭代器吧
    2022-04-04
  • python使用suds調(diào)用webservice接口的方法

    python使用suds調(diào)用webservice接口的方法

    今天小編就為大家分享一篇python使用suds調(diào)用webservice接口的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2019-01-01
  • 詳解Python如何在多層循環(huán)中使用break/continue

    詳解Python如何在多層循環(huán)中使用break/continue

    關(guān)于break/continue這兩個關(guān)鍵字在平常的使用過程中一直比較迷糊。所以本文將詳細(xì)講講Python如何在多層循環(huán)中使用break/continue,需要的可以參考一下
    2022-05-05
  • 通過python連接Linux命令行代碼實例

    通過python連接Linux命令行代碼實例

    這篇文章主要介紹了通過python連接Linux命令行代碼實例,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
    2020-02-02
  • 使用python爬蟲實現(xiàn)網(wǎng)絡(luò)股票信息爬取的demo

    使用python爬蟲實現(xiàn)網(wǎng)絡(luò)股票信息爬取的demo

    下面小編就為大家分享一篇使用python爬蟲實現(xiàn)網(wǎng)絡(luò)股票信息爬取的demo,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2018-01-01
  • Python的matplotlib繪圖如何修改背景顏色的實現(xiàn)

    Python的matplotlib繪圖如何修改背景顏色的實現(xiàn)

    這篇文章主要介紹了Python的matplotlib繪圖如何修改背景顏色的實現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2019-07-07
  • 一文帶你掌握Python中多線程和線程池的使用方法

    一文帶你掌握Python中多線程和線程池的使用方法

    Python中的多線程和線程池是其強大的功能之一,可以讓我們更加高效地利用CPU資源,提高程序的運行速度。本文將介紹Python中多線程和線程池的使用方法,并提供一些實用的案例供讀者參考
    2023-04-04
  • 解決Python3.7.0 SSL低版本導(dǎo)致Pip無法使用問題

    解決Python3.7.0 SSL低版本導(dǎo)致Pip無法使用問題

    這篇文章主要介紹了解決Python3.7.0 SSL低版本導(dǎo)致Pip無法使用問題,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-09-09
  • django中url映射規(guī)則和服務(wù)端響應(yīng)順序的實現(xiàn)

    django中url映射規(guī)則和服務(wù)端響應(yīng)順序的實現(xiàn)

    這篇文章主要介紹了django中url映射規(guī)則和服務(wù)端響應(yīng)順序的實現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2020-04-04
  • python中的PywebIO模塊制作一個數(shù)據(jù)大屏

    python中的PywebIO模塊制作一個數(shù)據(jù)大屏

    這篇文章主要介紹了python中的PywebIO模塊制作一個數(shù)據(jù)大屏,一個制作數(shù)據(jù)大屏的工具,非常的好用,100行的Python代碼就可以制作出來一個完整的數(shù)據(jù)大屏,并且代碼的邏輯非常容易理解,需要的朋友可以參考一下
    2022-03-03

最新評論