Python爬蟲動(dòng)態(tài)ip代理防止被封的方法
在爬取的過程中難免發(fā)生ip被封和403錯(cuò)誤等等，這都是網(wǎng)站檢測(cè)出你是爬蟲而進(jìn)行反爬措施，在這里為大家總結(jié)一下怎么用IP代理防止被封
首先，設(shè)置等待時(shí)間：
常見的設(shè)置等待時(shí)間有兩種，一種是顯性等待時(shí)間（強(qiáng)制停幾秒），一種是隱性等待時(shí)間（看具體情況，比如根據(jù)元素加載完成需要時(shí)間而等待）圖1是顯性等待時(shí)間設(shè)置，圖2是隱性
第二步，修改請(qǐng)求頭：
識(shí)別你是機(jī)器人還是人類瀏覽器瀏覽的重要依據(jù)就是User-Agent，比如人類用瀏覽器瀏覽就會(huì)使這個(gè)樣子的User-Agent：'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'
第三步，采用代理ip/建代理ip池
直接看代碼。利用動(dòng)態(tài)ip代理，可以強(qiáng)有力地保障爬蟲不會(huì)被封，能夠正常運(yùn)行。圖1為使用代理ip的情況，圖2是建ip代理池的代碼，有沒有必要需要看自己的需求，大型項(xiàng)目是必須用大量ip的。
做好以上3個(gè)步驟，大致爬蟲的運(yùn)行就不成問題了。做好以上3個(gè)步驟，大致爬蟲的運(yùn)行就不成問題了。
以上就是本次介紹的全部?jī)?nèi)容，感謝大家的學(xué)習(xí)和對(duì)腳本之家的支持。
相關(guān)文章
梅爾倒譜系數(shù)（MFCC）實(shí)現(xiàn)
這篇文章主要為大家詳細(xì)介紹了梅爾倒譜系數(shù)(MFCC)實(shí)現(xiàn)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2019-06-06
Python實(shí)現(xiàn)的多線程http壓力測(cè)試代碼
這篇文章主要介紹了Python實(shí)現(xiàn)的多線程http壓力測(cè)試代碼,結(jié)合實(shí)例形式分析了Python多線程操作的相關(guān)實(shí)現(xiàn)技巧,需要的朋友可以參考下2017-02-02
本文主要介紹了使用numpy中np.sort函數(shù)返回索引的詳細(xì)解釋和使用方法，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-07-07
Python統(tǒng)計(jì)詞頻的幾種方法小結(jié)
本文主要介紹了Python統(tǒng)計(jì)詞頻的幾種方法小結(jié)，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-03-03
python實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)感知器算法
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)感知器算法，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2017-12-12
Django視圖之ORM數(shù)據(jù)庫(kù)查詢操作API的實(shí)例
下面小編就為大家?guī)?lái)一篇Django視圖之ORM數(shù)據(jù)庫(kù)查詢操作API的實(shí)例。小編覺得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過來(lái)看看吧2017-10-10
使用Python第三方庫(kù)pygame寫個(gè)貪吃蛇小游戲
這篇文章主要介紹了使用Python第三方庫(kù)pygame寫個(gè)貪吃蛇小游戲,本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-03-03
一文帶你掌握Python自然語(yǔ)言處理庫(kù)SpaCy
SpaCy是一個(gè)非常強(qiáng)大的Python自然語(yǔ)言處理庫(kù),它包含了眾多強(qiáng)大功能，如詞性標(biāo)注、命名實(shí)體識(shí)別、依賴關(guān)系解析等等,這篇文章的目標(biāo)是幫助你了解SpaCy的基本功能和如何使用,需要的朋友可以參考下2023-07-07
python pyecharts 實(shí)現(xiàn)一個(gè)文件繪制多張圖
這篇文章主要介紹了python pyecharts 實(shí)現(xiàn)一個(gè)文件繪制多張圖，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來(lái)看看吧2020-05-05
今天小編就為大家分享一篇pip指定python位置安裝軟件包的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來(lái)看看吧2019-07-07