欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

python簡單構(gòu)建可用IP代理池

 更新時間:2022年02月10日 09:06:17   作者:阿南-anan??  
這篇文章主要介紹了python構(gòu)建簡單可以代理池,實現(xiàn)過程匹配ip:port的正則表達式、匹配出所有的ip與端口,放入列表、判斷爬取的代理ip是否可用、使用代理ip訪問指定網(wǎng)站,具體實現(xiàn)需要的小伙伴可以參考下面文章內(nèi)容

以下為簡單示例:

import requests
import re
import telnetlib

url='http://www.66ip.cn/nmtq.php?getnum=100000&isp=0&anonymoustype=4&start=&ports=&export=&ipaddress=&area=2&proxytype=0&api=66ip'
header = {'User-agent':'xxxxxxxxxxx','Connection':'close'}
page_text = requests.get(url=url,headers=header).text
#用于匹配ip:port的正則表達式
p = r'(?:((?:\d|[1-9]\d|1\d{2}|2[0-5][0-5])\.(?:\d|[1-9]\d|1\d{2}|2[0-5][0-5])\.(?:\d|[1-9]\d|1\d{2}|2[0-5][0-5])\.(?:\d|[1-9]\d|1\d{2}|2[0-5][0-5]))\D+?(6[0-5]{2}[0-3][0-5]|[1-5]\d{4}|[1-9]\d{1,3}|[0-9]))'
#匹配出所有的ip與端口,放入列表
iplist = re.findall(p,page_text)
# 判斷爬取的代理ip是否可用
for i in iplist:
? ? ip = i[0]+':'+i[1]+'\n'
? ? try:
? ? ? ? # 使用代理ip訪問指定網(wǎng)站,能訪問說明代理可用
? ? ? ? # requests.get('http://www.baidu.com', proxies={"http": ip})
? ? ? ? # 使用telnet測試代理是否可用
? ? ? ? telnetlib.Telnet(i[0], port=i[1], timeout=3)
? ? except:
? ? ? ? print('connect failed')
? ? else:
? ? ? ? print(ip)
? ? ? ? with open('ip.txt', 'a+', encoding='utf-8') as fp:
? ? ? ? ? ? fp.write(ip)

 到此這篇關(guān)于python構(gòu)建簡單可以代理池的文章就介紹到這了,更多相關(guān)python構(gòu)建簡單代理池內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • Python打開指定網(wǎng)頁使用requests模塊爬蟲示例詳解

    Python打開指定網(wǎng)頁使用requests模塊爬蟲示例詳解

    這篇文章主要介紹了Python打開指定網(wǎng)頁使用requests模塊爬蟲的示例,Python?requests是一個常用的HTTP請求庫,可以方便地向網(wǎng)站發(fā)送HTTP請求,并獲取響應結(jié)果,requests模塊比urllib模塊更簡潔,感興趣的朋友可以參考下
    2024-02-02
  • 使用python解析MDX詞典數(shù)據(jù)并保存為Excel文件

    使用python解析MDX詞典數(shù)據(jù)并保存為Excel文件

    MDX(Mobile Dictionary eXchange)是一種常見的詞典文件格式,通常用于在移動設備和電腦之間共享辭典數(shù)據(jù),本文深入探討了從MDX詞典數(shù)據(jù)提取、處理到最終保存為Excel文件的全過程,需要的朋友可以參考下
    2023-12-12
  • pytest?fixtures函數(shù)及測試函數(shù)的參數(shù)化解讀

    pytest?fixtures函數(shù)及測試函數(shù)的參數(shù)化解讀

    這篇文章主要介紹了pytest?fixtures函數(shù)及測試函數(shù)的參數(shù)化解讀,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪
    2022-05-05
  • Python基于多線程實現(xiàn)抓取數(shù)據(jù)存入數(shù)據(jù)庫的方法

    Python基于多線程實現(xiàn)抓取數(shù)據(jù)存入數(shù)據(jù)庫的方法

    這篇文章主要介紹了Python基于多線程實現(xiàn)抓取數(shù)據(jù)存入數(shù)據(jù)庫的方法,結(jié)合實例形式分析了Python使用數(shù)據(jù)庫類與多線程類進行數(shù)據(jù)抓取與寫入數(shù)據(jù)庫操作的具體使用技巧,需要的朋友可以參考下
    2018-06-06
  • Python使用matplotlib的pie函數(shù)繪制餅狀圖功能示例

    Python使用matplotlib的pie函數(shù)繪制餅狀圖功能示例

    這篇文章主要介紹了Python使用matplotlib的pie函數(shù)繪制餅狀圖功能,結(jié)合實例形式分析了Python使用matplotlib的pie函數(shù)進行餅狀圖繪制的具體操作技巧,注釋中對pie函數(shù)的用法進行了詳細的說明,便于理解,需要的朋友可以參考下
    2018-01-01
  • 淺談Python對內(nèi)存的使用(深淺拷貝)

    淺談Python對內(nèi)存的使用(深淺拷貝)

    這篇文章主要介紹了淺談Python對內(nèi)存的使用(深淺拷貝),具有一定借鑒價值,需要的朋友可以參考下
    2018-01-01
  • 關(guān)于Python去除字符串中空格的方法總結(jié)

    關(guān)于Python去除字符串中空格的方法總結(jié)

    用Python處理字符串時會經(jīng)常要去掉字符串首、尾或者中間的空白,以得到我們想要的結(jié)果,下面這篇文章主要給大家介紹了關(guān)于Python去除字符串中空格的相關(guān)資料,需要的朋友可以參考下
    2022-12-12
  • PyQT5速成教程之Qt Designer介紹與入門

    PyQT5速成教程之Qt Designer介紹與入門

    這篇文章主要介紹了PyQT5速成教程之Qt Designer介紹與入門,本文以PyCharm為例通過實例代碼圖文相結(jié)合給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下
    2020-11-11
  • python爬取微信公眾號文章

    python爬取微信公眾號文章

    這篇文章主要為大家詳細介紹了python爬蟲實戰(zhàn)案例,微信公眾號文章的爬取,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2018-08-08
  • 關(guān)于pytest結(jié)合csv模塊實現(xiàn)csv格式的數(shù)據(jù)驅(qū)動問題

    關(guān)于pytest結(jié)合csv模塊實現(xiàn)csv格式的數(shù)據(jù)驅(qū)動問題

    這篇文章主要介紹了pytest結(jié)合csv模塊實現(xiàn)csv格式的數(shù)據(jù)驅(qū)動,使用python中的csv模塊來處理csv文件,結(jié)合pygtest的參數(shù)化處理方式來實現(xiàn)ddt,本文通過示例代碼給大家介紹的非常詳細,需要的朋友參考下吧
    2022-05-05

最新評論