使用python驗(yàn)證代理ip是否可用的實(shí)現(xiàn)方法
在使用爬蟲(chóng)爬取網(wǎng)絡(luò)數(shù)據(jù)時(shí)，如果長(zhǎng)時(shí)間對(duì)一個(gè)網(wǎng)站進(jìn)行抓取時(shí)可能會(huì)遇到IP被封的情況，這種情況可以使用代理更換ip來(lái)突破服務(wù)器封IP的限制。
隨手在百度上搜索免費(fèi)代理IP，可以得到一系列的網(wǎng)站，這里我們通過(guò)對(duì)西刺網(wǎng)站的抓取來(lái)舉例。
通過(guò)編寫一個(gè)爬蟲(chóng)來(lái)抓取網(wǎng)站上面的IP地址，端口，及類型，把這些信息存到本地。這里不做介紹。
驗(yàn)證代理IP是否可用。原理是使用代理IP訪問(wèn)指定網(wǎng)站，如果返回狀態(tài)為200，表示這個(gè)代理是可以使用的。
# _*_ coding:utf-8 _*_
import urllib2
import re
class TestProxy(object):
def __init__(self):
self.ip = '106.46.136.64'
self.port = '808'
self.url = 'http://www.baidu.com'
self.timeout = 3
self.regex = re.compile(r'baidu.com')
self.run()
def run(self):
self.linkWithProxy()
def linkWithProxy(self):
server = 'http://'+ self.ip + ':'+ self.port
opener = urllib2.build_opener(urllib2.ProxyHandler({'http':server}))
urllib2.install_opener(opener)
try:
response = urllib2.urlopen(self.url, timeout=self.timeout)
except:
print '%s connect failed' % server
return
else:
try:
str = response.read()
except:
print '%s connect failed' % server
return
if self.regex.search(str):
print '%s connect success .......' % server
print self.ip + ':' + self.port
if __name__ == '__main__':
Tp = TestProxy()
也可以使用requests包來(lái)進(jìn)行驗(yàn)證，要少寫好多代碼
import requests
try:
requests.get('http://wenshu.court.gov.cn/', proxies={"http":"http://121.31.154.12:8123"})
except:
print 'connect failed'
else:
print 'success'
把驗(yàn)證通過(guò)的IP保存在redis里面，在IP被禁止的時(shí)候可以從redis中取出來(lái)使用。
受@齊俊杰的提醒，添加一種使用telnet來(lái)驗(yàn)證的方法：
import telnetlib
try:
telnetlib.Telnet('127.0.0.1', port='80', timeout=20)
except:
print 'connect failed'
else:
print 'success'
總結(jié)
以上所述是小編給大家介紹的使用python驗(yàn)證代理ip是否可用，希望對(duì)大家有所幫助，如果大家有任何疑問(wèn)請(qǐng)給我留言，小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)腳本之家網(wǎng)站的支持！
相關(guān)文章
Python實(shí)現(xiàn)類似jQuery使用中的鏈?zhǔn)秸{(diào)用的示例
chained calls鏈?zhǔn)秸{(diào)用其實(shí)多是指一種方法鏈的程序?qū)懛?這里我們來(lái)看一下Python實(shí)現(xiàn)類似jQuery使用中的鏈?zhǔn)秸{(diào)用的示例,首先說(shuō)明一下什么是鏈?zhǔn)秸{(diào)用:2016-06-06
在面向?qū)ο蟮睦碚撝?，有兩個(gè)核心的概念：類和實(shí)例。在?Python?里面，類和實(shí)例都是對(duì)象，也就是所謂的類對(duì)象和實(shí)例對(duì)象。本文主要來(lái)大家重溫一下Python對(duì)象模型的相關(guān)知識(shí)，感興趣的可以了解一下2023-04-04
Linux下遠(yuǎn)程連接Jupyter+pyspark部署教程
這篇文章主要為大家詳細(xì)介紹了Linux下遠(yuǎn)程連接Jupyter+pyspark部署教程，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2019-06-06
Python爬蟲(chóng)是獲取網(wǎng)頁(yè)信息的重要工具,但有時(shí)網(wǎng)站對(duì)爬蟲(chóng)有限制,要求模擬瀏覽器行為,本文將深入探討如何使用Python模擬瀏覽器行為進(jìn)行網(wǎng)絡(luò)數(shù)據(jù)抓取,我們將介紹相關(guān)工具和技術(shù),提供詳細(xì)的示例代碼和解釋2024-01-01
這篇文章主要介紹了python中__call__方法示例分析,較為詳細(xì)的分析了python中__call__方法的用法,需要的朋友可以參考下2014-10-10
這篇文章主要介紹了python中遍歷文件的3個(gè)方法,本文分別使用os.path.walk()、os.walk()、os.listdir()來(lái)實(shí)現(xiàn),需要的朋友可以參考下2014-09-09
在Python中，我們會(huì)經(jīng)常聽(tīng)到上下文管理器，那么上下文管理器到底是干什么的，本文就來(lái)介紹一下，感興趣的小伙伴們可以參考一下2021-06-06
關(guān)于微信小程序爬蟲(chóng)token自動(dòng)更新問(wèn)題
本文主要介紹了關(guān)于微信小程序爬蟲(chóng)關(guān)于token自動(dòng)更新問(wèn)題，文中通過(guò)示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2021-09-09
Python讀取實(shí)時(shí)數(shù)據(jù)流示例