Python數(shù)據(jù)抓取爬蟲(chóng)代理防封IP方法
爬蟲(chóng)：一段自動(dòng)抓取互聯(lián)網(wǎng)信息的程序，從互聯(lián)網(wǎng)上抓取對(duì)于我們有價(jià)值的信息，一般來(lái)說(shuō)，Python爬蟲(chóng)程序很多時(shí)候都要使用（飛豬IP）代理的IP地址來(lái)爬取程序，但是默認(rèn)的urlopen是無(wú)法使用代理的IP的，我就來(lái)分享一下Python爬蟲(chóng)怎樣使用代理IP的經(jīng)驗(yàn)。（推薦飛豬代理IP注冊(cè)可免費(fèi)使用，瀏覽器搜索可找到）
1、劃重點(diǎn)，小編我用的是Python3哦，所以要導(dǎo)入urllib的request，然后我們調(diào)用ProxyHandler，它可以接收代理IP的參數(shù)。代理可以根據(jù)自己需要選擇，當(dāng)然免費(fèi)的也是有的，但是可用率可想而知的。（飛豬IP）
2、接著把IP地址以字典的形式放入其中，這個(gè)IP地址是我亂寫(xiě)的，只是用來(lái)舉例。設(shè)置鍵為http，當(dāng)然有些是https的，然后后面就是IP地址以及端口號(hào)（9000），具體看你的IP地址是什么類型的，不同IP端口號(hào)可能不同根據(jù)你在飛豬提取的端口為準(zhǔn)。
3、接著再用build_opener()來(lái)構(gòu)建一個(gè)opener對(duì)象。
4、然后調(diào)用構(gòu)建好的opener對(duì)象里面的open方法來(lái)發(fā)生請(qǐng)求。實(shí)際上urlopen也是類似這樣使用內(nèi)部定義好的opener.open()，這里就相當(dāng)于我們自己重寫(xiě)。
5、當(dāng)然了，如果我們使用install_opener()，就可以把之前自定義的opener設(shè)置成全局的。
6、設(shè)置成全局之后，如果我們?cè)偈褂胾rlopen來(lái)發(fā)送請(qǐng)求，那么發(fā)送請(qǐng)求使用的IP地址就是代理IP，而不是本機(jī)的IP地址了。
7、最后再來(lái)說(shuō)說(shuō)使用代理遇到的錯(cuò)誤，提示目標(biāo)計(jì)算機(jī)積極拒絕，這就說(shuō)明可能是代理IP無(wú)效，或者端口號(hào)錯(cuò)誤，這就需要使用有效的IP才行哦。（這邊現(xiàn)在是亂填寫(xiě)的IP地址）可選擇飛豬的代理IP。
總結(jié)：以上就是本次關(guān)于Python數(shù)據(jù)抓取爬蟲(chóng)代理防封IP方法，感謝大家的閱讀和對(duì)腳本之家的支持。
- Python爬蟲(chóng)實(shí)現(xiàn)vip電影下載的示例代碼
- python3 Scrapy爬蟲(chóng)框架ip代理配置的方法
- Python爬蟲(chóng)使用代理IP的實(shí)現(xiàn)
- Python爬蟲(chóng)動(dòng)態(tài)ip代理防止被封的方法
- Python反爬蟲(chóng)技術(shù)之防止IP地址被封殺的講解
- selenium+python設(shè)置爬蟲(chóng)代理IP的方法
- Python爬蟲(chóng)常用小技巧之設(shè)置代理IP
- Python實(shí)現(xiàn)爬蟲(chóng)設(shè)置代理IP和偽裝成瀏覽器的方法分享
- Python爬蟲(chóng)設(shè)置代理IP的方法(爬蟲(chóng)技巧)
- Python爬蟲(chóng)防封ip的一些技巧
相關(guān)文章
Python使用PEfile模塊實(shí)現(xiàn)分析PE文件
PeFile模塊是Python中一個(gè)強(qiáng)大的便攜式第三方PE格式分析工具，用于解析和處理Windows可執(zhí)行文件，本文主要就來(lái)講講如何使用PEfile模塊實(shí)現(xiàn)分析PE文件，需要的可以參考下2023-08-08
Python+Delorean實(shí)現(xiàn)時(shí)間格式智能轉(zhuǎn)換
DeLorean是一個(gè)Python的第三方模塊，基于?pytz?和?dateutil?開(kāi)發(fā)，用于處理Python中日期時(shí)間的格式轉(zhuǎn)換。本文將詳細(xì)講講DeLorean的使用，感興趣的可以了解一下2022-04-04
下面小編就為大家?guī)?lái)一篇基于Django模板中的數(shù)字自增(詳解)。小編覺(jué)得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2017-09-09
pandas數(shù)據(jù)處理之 標(biāo)簽列字符轉(zhuǎn)數(shù)字的實(shí)現(xiàn)
這篇文章主要介紹了pandas數(shù)據(jù)處理之 標(biāo)簽列字符轉(zhuǎn)數(shù)字的實(shí)現(xiàn)方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-03-03
這篇文章主要介紹了如何在python字符串中輸入純粹的{}以及python字符串連接的三種方法,需要的朋友可以參考下2018-08-08
python基于搜索引擎實(shí)現(xiàn)文章查重功能
這篇文章主要介紹了python基于搜索引擎實(shí)現(xiàn)文章查重功能,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2021-05-05
Python-jenkins模塊獲取jobs的執(zhí)行狀態(tài)操作
這篇文章主要介紹了Python-jenkins模塊獲取jobs的執(zhí)行狀態(tài)操作，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-05-05
這篇文章主要介紹了pygame實(shí)現(xiàn)彈球游戲流程，彈球游戲（Pinball Pro）是安卓手機(jī)上排名第一的彈球游戲，真實(shí)再現(xiàn)了一直以來(lái)最經(jīng)典的彈珠臺(tái)游戲的玩法2023-01-01
本文主要介紹了Pandas封裝Excel工具類的方法步驟，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-04-04
python 繪圖模塊matplotlib的使用簡(jiǎn)介
這篇文章主要介紹了python 繪圖模塊matplotlib的使用簡(jiǎn)介，幫助大家更好的理解和學(xué)習(xí)使用python，感興趣的朋友可以了解下2021-03-03