欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python常見反爬蟲機(jī)制解決方案

 更新時(shí)間：2020年06月01日 10:49:37   作者：其實(shí)還好啦  
這篇文章主要介紹了Python常見反爬蟲機(jī)制解決方案,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下

1、使用代理

適用情況：限制IP地址情況，也可解決由于“頻繁點(diǎn)擊”而需要輸入驗(yàn)證碼登陸的情況。

這種情況最好的辦法就是維護(hù)一個(gè)代理IP池，網(wǎng)上有很多免費(fèi)的代理IP，良莠不齊，可以通過篩選找到能用的。對(duì)于“頻繁點(diǎn)擊”的情況，我們還可以通過限制爬蟲訪問網(wǎng)站的頻率來避免被網(wǎng)站禁掉。

proxies = {'http':'http://XX.XX.XX.XX:XXXX'}
Requests：
 import requests
 response = requests.get(url=url, proxies=proxies)
Urllib2：
 import urllib2
 proxy_support = urllib2.ProxyHandler(proxies)
 opener = urllib2.build_opener(proxy_support, urllib2.HTTPHandler)
 urllib2.install_opener(opener) # 安裝opener，此后調(diào)用urlopen()時(shí)都會(huì)使用安裝過的opener對(duì)象
 response = urllib2.urlopen(url)

2、時(shí)間設(shè)置

適用情況：限制頻率情況。

Requests，Urllib2都可以使用time庫的sleep()函數(shù)：

import time
time.sleep(1)

3、偽裝成瀏覽器，或者反“反盜鏈”

有些網(wǎng)站會(huì)檢查你是不是真的瀏覽器訪問，還是機(jī)器自動(dòng)訪問的。這種情況，加上User-Agent，表明你是瀏覽器訪問即可。有時(shí)還

會(huì)檢查是否帶Referer信息還會(huì)檢查你的Referer是否合法，一般再加上Referer。

headers = {'User-Agent':'XXXXX'} # 偽裝成瀏覽器訪問，適用于拒絕爬蟲的網(wǎng)站
headers = {'Referer':'XXXXX'}
headers = {'User-Agent':'XXXXX', 'Referer':'XXXXX'}
Requests：
 response = requests.get(url=url, headers=headers)
Urllib2：
 import urllib, urllib2  
 req = urllib2.Request(url=url, headers=headers)
 response = urllib2.urlopen(req)

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

相關(guān)文章

最新評(píng)論