Python爬蟲(chóng)設(shè)置代理IP的方法(爬蟲(chóng)技巧)
在學(xué)習(xí)Python爬蟲(chóng)的時(shí)候，經(jīng)常會(huì)遇見(jiàn)所要爬取的網(wǎng)站采取了反爬取技術(shù)，高強(qiáng)度、高效率地爬取網(wǎng)頁(yè)信息常常會(huì)給網(wǎng)站服務(wù)器帶來(lái)巨大壓力，所以同一個(gè)IP反復(fù)爬取同一個(gè)網(wǎng)頁(yè)，就很可能被封，這里講述一個(gè)爬蟲(chóng)技巧，設(shè)置代理IP。
（一）配置環(huán)境
- 安裝requests庫(kù)
- 安裝bs4庫(kù)
- 安裝lxml庫(kù)
（二）代碼展示
# IP地址取自國(guó)內(nèi)髙匿代理IP網(wǎng)站：http://www.xicidaili.com/nn/
# 僅僅爬取首頁(yè)IP地址就足夠一般使用
from bs4 import BeautifulSoup
import requests
import random
def get_ip_list(url, headers):
web_data = requests.get(url, headers=headers)
soup = BeautifulSoup(web_data.text, 'lxml')
ips = soup.find_all('tr')
ip_list = []
for i in range(1, len(ips)):
ip_info = ips[i]
tds = ip_info.find_all('td')
ip_list.append(tds[1].text + ':' + tds[2].text)
return ip_list
def get_random_ip(ip_list):
proxy_list = []
for ip in ip_list:
proxy_list.append('http://' + ip)
proxy_ip = random.choice(proxy_list)
proxies = {'http': proxy_ip}
return proxies
if __name__ == '__main__':
url = 'http://www.xicidaili.com/nn/'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36'
}
ip_list = get_ip_list(url, headers=headers)
proxies = get_random_ip(ip_list)
print(proxies)函數(shù)get_ip_list(url, headers)傳入url和headers，最后返回一個(gè)IP列表，列表的元素類似42.84.226.65:8888格式，這個(gè)列表包括國(guó)內(nèi)髙匿代理IP網(wǎng)站首頁(yè)所有IP地址和端口。
函數(shù)get_random_ip(ip_list)傳入第一個(gè)函數(shù)得到的列表，返回一個(gè)隨機(jī)的proxies，這個(gè)proxies可以傳入到requests的get方法中，這樣就可以做到每次運(yùn)行都使用不同的IP訪問(wèn)被爬取的網(wǎng)站，有效地避免了真實(shí)IP被封的風(fēng)險(xiǎn)。proxies的格式是一個(gè)字典：{‘http': ‘http://42.84.226.65:8888‘}。
（三）代理IP的使用
運(yùn)行上面的代碼會(huì)得到一個(gè)隨機(jī)的proxies，把它直接傳入requests的get方法中即可。
web_data = requests.get(url, headers=headers, proxies=proxies)
總結(jié)
以上所述是小編給大家介紹的Python爬蟲(chóng)設(shè)置代理IP的方法(爬蟲(chóng)技巧)，希望對(duì)大家有所幫助，如果大家有任何疑問(wèn)歡迎給我留言，小編會(huì)及時(shí)回復(fù)大家的！
相關(guān)文章
這篇文章主要介紹了python安裝第三方庫(kù)如xlrd的方法,本文通過(guò)兩種方法給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-10-10
10 行Python 代碼實(shí)現(xiàn) AI 目標(biāo)檢測(cè)技術(shù)【推薦】
這篇文章主要介紹了10 行Python 代碼，實(shí)現(xiàn) AI 目標(biāo)檢測(cè)技術(shù),看完了代碼，我們?cè)谝黄鹆牧哪繕?biāo)檢測(cè)背后的技術(shù)背景，并解讀這10行Python代碼的由來(lái)和實(shí)現(xiàn)原理。感興趣的朋友跟隨小編一起看看吧2019-06-06
Python連接和操作PostgreSQL數(shù)據(jù)庫(kù)的流程步驟
PostgreSQL 是一種開(kāi)源的對(duì)象關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)（ORDBMS）,以其強(qiáng)大的功能和穩(wěn)定性而廣受歡迎,本文將詳細(xì)介紹如何使用 Python 連接和操作 PostgreSQL 數(shù)據(jù)庫(kù),需要的朋友可以參考下2024-10-10
解決python運(yùn)行啟動(dòng)報(bào)錯(cuò)問(wèn)題
這篇文章主要介紹了解決python運(yùn)行啟動(dòng)報(bào)錯(cuò)問(wèn)題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-06-06
YOLOv5改進(jìn)之添加SE注意力機(jī)制的詳細(xì)過(guò)程
作為當(dāng)前先進(jìn)的深度學(xué)習(xí)目標(biāo)檢測(cè)算法YOLOv5,已經(jīng)集合了大量的trick,但是還是有提高和改進(jìn)的空間,針對(duì)具體應(yīng)用場(chǎng)景下的檢測(cè)難點(diǎn),可以不同的改進(jìn)方法,下面這篇文章主要給大家介紹了關(guān)于YOLOv5改進(jìn)之添加SE注意力機(jī)制的相關(guān)資料,需要的朋友可以參考下2022-08-08
django框架model orM使用字典作為參數(shù)，保存數(shù)據(jù)的方法分析
這篇文章主要介紹了django框架model orM使用字典作為參數(shù)，保存數(shù)據(jù)的方法,結(jié)合實(shí)例形式分析了字典參數(shù)結(jié)合django model實(shí)現(xiàn)保存數(shù)據(jù)相關(guān)操作技巧,需要的朋友可以參考下2019-06-06
Python?隊(duì)列Queue和PriorityQueue解析
這篇文章主要介紹了Python?隊(duì)列Queue和PriorityQueue，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2022-09-09
這篇文章主要介紹了Python中常見(jiàn)的矩陣運(yùn)算詳解,所謂的數(shù)據(jù)處理,其本質(zhì)大都可以歸為矩陣運(yùn)算,因?yàn)樾枰幚淼臄?shù)據(jù)大都是矩陣或向量的形式,一個(gè)工具適不適合做數(shù)據(jù)處理,一個(gè)重要的指標(biāo)的就是支不支持矩陣運(yùn)算,需要的朋友可以參考下2023-08-08
使用Python和百度語(yǔ)音識(shí)別生成視頻字幕的實(shí)現(xiàn)
這篇文章主要介紹了使用Python和百度語(yǔ)音識(shí)別生成視頻字幕，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-04-04
Python使用PDFMiner解析PDF代碼實(shí)例
本篇文章主要介紹了Python使用PDFMiner解析PDF代碼實(shí)例，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2017-03-03