Python爬蟲常用小技巧之設(shè)置代理IP
設(shè)置代理IP的原因
我們?cè)谑褂肞ython爬蟲爬取一個(gè)網(wǎng)站時(shí)，通常會(huì)頻繁訪問(wèn)該網(wǎng)站。假如一個(gè)網(wǎng)站它會(huì)檢測(cè)某一段時(shí)間某個(gè)IP的訪問(wèn)次數(shù)，如果訪問(wèn)次數(shù)過(guò)多，它會(huì)禁止你的訪問(wèn)。所以你可以設(shè)置一些代理服務(wù)器來(lái)幫助你做工作，每隔一段時(shí)間換一個(gè)代理，這樣便不會(huì)出現(xiàn)因?yàn)轭l繁訪問(wèn)而導(dǎo)致禁止訪問(wèn)的現(xiàn)象。
我們?cè)趯W(xué)習(xí)Python爬蟲的時(shí)候，也經(jīng)常會(huì)遇見(jiàn)所要爬取的網(wǎng)站采取了反爬取技術(shù)導(dǎo)致爬取失敗。高強(qiáng)度、高效率地爬取網(wǎng)頁(yè)信息常常會(huì)給網(wǎng)站服務(wù)器帶來(lái)巨大壓力，所以同一個(gè)IP反復(fù)爬取同一個(gè)網(wǎng)頁(yè)，就很可能被封，所以下面這篇文章講述一個(gè)爬蟲技巧，設(shè)置代理IP
這里介紹一下免費(fèi)獲取代理IP的方法，這個(gè)方法的優(yōu)點(diǎn)就是免費(fèi)，但是缺點(diǎn)就是爬取后存在很多不能用的
IP地址取自國(guó)內(nèi)髙匿代理IP網(wǎng)站，西刺代理，我們爬取首頁(yè)IP地址就足夠一般使用，或者你也可以爬取第一頁(yè)，第二頁(yè)…的
配置環(huán)境
- 安裝requests庫(kù)
- 安裝bs4庫(kù)
- 安裝lxml庫(kù)
具體代碼
話不多說(shuō)直接上代碼吧
from bs4 import BeautifulSoup
import requests
import random
def get_ip_list(url, headers):
web_data = requests.get(url, headers=headers)
soup = BeautifulSoup(web_data.text, 'lxml')
ips = soup.find_all('tr')
ip_list = []
for i in range(1, len(ips)):
ip_info = ips[i]
tds = ip_info.find_all('td')
ip_list.append(tds[1].text + ':' + tds[2].text)
return ip_list
def get_random_ip(ip_list):
proxy_list = []
for ip in ip_list:
proxy_list.append('http://' + ip)
proxy_ip = random.choice(proxy_list)
proxies = {'http': proxy_ip}
return proxies
if __name__ == '__main__':
url = 'http://www.xicidaili.com/nn/'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1312.60 Safari/537.17'
}
ip_list = get_ip_list(url, headers=headers)
proxies = get_random_ip(ip_list)
print(proxies)
函數(shù)get_ip_list(url, headers)傳入url和headers，最后返回一個(gè)IP列表，列表的元素類似122.114.31.177:808格式，這個(gè)列表包括國(guó)內(nèi)髙匿代理IP網(wǎng)站首頁(yè)所有IP地址和端口
函數(shù)get_random_ip(ip_list)傳入第一個(gè)函數(shù)得到的列表，返回一個(gè)隨機(jī)的proxies，這個(gè)proxies可以傳入到requests的get方法中，這樣就可以做到每次運(yùn)行都使用不同的IP訪問(wèn)被爬取的網(wǎng)站，有效地避免了真實(shí)IP被封的風(fēng)險(xiǎn)
proxies的格式是一個(gè)字典： {‘http': ‘http://122.114.31.177:808‘} ，可以將下面的執(zhí)行也封裝為方法
對(duì)于抓取IP這個(gè)，西刺代理的服務(wù)器做了反爬處理，如果你頻繁去抓取的話，服務(wù)器會(huì)主動(dòng)返回503錯(cuò)誤，提示block，所以在請(qǐng)求的時(shí)候可以先一次請(qǐng)求完保存一個(gè)文件，來(lái)讀取這個(gè)文件，或者爬取一個(gè)ip使用幾分鐘后，再去爬取一次，相當(dāng)于加一個(gè)定時(shí)功能
代理IP的使用
運(yùn)行上面的代碼會(huì)得到一個(gè)隨機(jī)的proxies，把它直接傳入requests的get方法中即可
res = requests.get(url, headers=headers, proxies=proxies)
總結(jié)
以上就是這篇文章的全部?jī)?nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，如果有疑問(wèn)大家可以留言交流，謝謝大家對(duì)腳本之家的支持。
相關(guān)文章
這篇文章主要介紹了python各種excel寫入方式的速度對(duì)比，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-11-11
均勻性度量圖像分割是圖像像素分割的一種方法，當(dāng)然還有其他很多的方法。本文將主要介紹下其原理和實(shí)現(xiàn)代碼，感興趣的小伙伴可以學(xué)習(xí)一下2021-12-12
Python實(shí)現(xiàn)打印螺旋矩陣功能的方法
這篇文章主要介紹了Python實(shí)現(xiàn)打印螺旋矩陣功能的方法,簡(jiǎn)單描述了螺旋矩陣的概念、原理及Python實(shí)現(xiàn)方法,需要的朋友可以參考下2017-11-11
Python實(shí)現(xiàn)隨機(jī)游走的詳細(xì)解釋
這篇文章主要介紹了Python實(shí)現(xiàn)隨機(jī)游走的詳細(xì)解釋,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2021-03-03
這篇文章主要介紹了python排序算法之希爾排序,希爾排序，又叫“縮小增量排序”，是對(duì)插入排序進(jìn)行優(yōu)化后產(chǎn)生的一種排序算法,需要的朋友可以參考下2023-04-04
Python Excel處理庫(kù)openpyxl使用詳解
openpyxl是一個(gè)第三方庫(kù)，可以處理xlsx格式的Excel文件。這篇文章主要介紹了Python Excel處理庫(kù)openpyxl使用詳解,小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2019-05-05
本文主要介紹了使用python遍歷指定城市的一周氣溫的實(shí)現(xiàn)方法。具有很好的參考價(jià)值，下面跟著小編一起來(lái)看下吧2017-03-03
python實(shí)現(xiàn)從一組顏色中找出與給定顏色最接近顏色的方法
這篇文章主要介紹了python實(shí)現(xiàn)從一組顏色中找出與給定顏色最接近顏色的方法,涉及Python操作rgb格式顏色的技巧,非常具有實(shí)用價(jià)值,需要的朋友可以參考下2015-03-03
對(duì)python中url參數(shù)編碼與解碼的實(shí)例詳解
今天小編就為大家分享一篇對(duì)python中url參數(shù)編碼與解碼的實(shí)例詳解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-07-07
jupyter notebook中美觀顯示矩陣實(shí)例
這篇文章主要介紹了jupyter notebook中美觀顯示矩陣實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-04-04