快捷導(dǎo)航

爬蟲(chóng)代理的cookie如何生成運(yùn)行

更新時(shí)間：2020年09月22日 09:17:32 作者：laical

這篇文章主要介紹了爬蟲(chóng)代理的cookie如何生成運(yùn)行，幫助大家更好的理解和使用爬蟲(chóng)，感興趣的朋友可以了解下

HTTP是用于互聯(lián)網(wǎng)傳輸數(shù)據(jù)信息到本地的一種傳送協(xié)議

我們?cè)跒g覽器中輸入輸入關(guān)鍵詞，會(huì)返回頁(yè)面內(nèi)容。這就是我們用瀏覽器向網(wǎng)站所在的服務(wù)器發(fā)送了一個(gè)請(qǐng)求，網(wǎng)站的服務(wù)器接收到這個(gè)請(qǐng)求后進(jìn)行解析，然后把網(wǎng)頁(yè)內(nèi)容呈現(xiàn)出來(lái)。

有時(shí)候服務(wù)器網(wǎng)站會(huì)檢測(cè)IP在一個(gè)時(shí)間段內(nèi)的請(qǐng)求次數(shù)，如果過(guò)于頻繁，就會(huì)拒絕服務(wù)，簡(jiǎn)稱為封IP。

HTTP代理就是用別人的IP進(jìn)行訪問(wèn)，進(jìn)行IP偽裝。

除非是訪問(wèn)網(wǎng)站或APP專用數(shù)據(jù)api接口，正常的HTTP請(qǐng)求都需要進(jìn)行ua（User-Agent）優(yōu)化，因?yàn)閡a是瀏覽器標(biāo)識(shí)，如果http請(qǐng)求沒(méi)有ua，或ua太少，都會(huì)被網(wǎng)站運(yùn)維統(tǒng)計(jì)異常的，ua越豐富分布就越真實(shí)。cookie最好是登陸獲取的，一般訪客的cookie，對(duì)方限制會(huì)比較嚴(yán)格，可以控制一個(gè)地區(qū)新訪客的訪問(wèn)頻率。另外反爬統(tǒng)計(jì)的js也要分析下，是不是做了機(jī)器人判斷，有沒(méi)有做窗口分辨率判斷等。

生成cookie：

import os
import time
import zipfile

from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait


class GenCookies(object):
  USER_AGENT = open('useragents.txt').readlines()
  # www.16yun.cn 代理配置
  PROXY_HOST = 't.16yun.cn' # proxy or host
  PROXY_PORT = 31111 # port
  PROXY_USER = 'USERNAME' # username
  PROXY_PASS = 'PASSWORD' # password

def open(self):
    """
    打開(kāi)網(wǎng)頁(yè)輸入用戶名密碼并點(diǎn)擊
    :return: None
    """
    self.browser.delete_all_cookies()
    self.browser.get(self.url)
    username = self.wait.until(EC.presence_of_element_located((By.ID, 'loginName')))
    password = self.wait.until(EC.presence_of_element_located((By.ID, 'loginPassword')))
    submit = self.wait.until(EC.element_to_be_clickable((By.ID, 'loginAction')))
    username.send_keys(self.username)
    password.send_keys(self.password)
    time.sleep(1)
    submit.click()

  def password_error(self):
    """
    判斷是否密碼錯(cuò)誤
    :return:
    """
    try:
      return WebDriverWait(self.browser, 5).until(
        EC.text_to_be_present_in_element((By.ID, 'errorMsg'), '用戶名或密碼錯(cuò)誤'))
    except TimeoutException:
      return False

  def get_cookies(self):
    """
    獲取Cookies
    :return:
    """
    return self.browser.get_cookies()

運(yùn)行cookie：

API接口開(kāi)始運(yùn)行
* Running on http://0.0.0.0:5000/ (Press CTRL+C to quit)
Cookies生成進(jìn)程開(kāi)始運(yùn)行
Cookies檢測(cè)進(jìn)程開(kāi)始運(yùn)行
正在生成Cookies 賬號(hào) 180000000 密碼 16yun
正在測(cè)試Cookies 用戶名 180000000
Cookies有效 180000000

如果HTTP請(qǐng)求成功，HTTP的狀態(tài)碼會(huì)返回200且返回?cái)?shù)據(jù)。當(dāng)然其他HTTP其他狀態(tài)碼也有，403表示禁止訪問(wèn)，504服務(wù)器內(nèi)部出錯(cuò)等等。

以上就是爬蟲(chóng)代理的cookie如何生成運(yùn)行的詳細(xì)內(nèi)容，更多關(guān)于爬蟲(chóng)代理 cookie的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！

您可能感興趣的文章: