快捷導(dǎo)航

Python反爬蟲技術(shù)之防止IP地址被封殺的講解

更新時(shí)間：2019年01月09日 10:55:10 作者：李燦輝

今天小編就為大家分享一篇關(guān)于Python反爬蟲技術(shù)之防止IP地址被封殺的講解，小編覺得內(nèi)容挺不錯(cuò)的，現(xiàn)在分享給大家，具有很好的參考價(jià)值，需要的朋友一起跟隨小編來看看吧

在使用爬蟲爬取別的網(wǎng)站的數(shù)據(jù)的時(shí)候，如果爬取頻次過快，或者因?yàn)橐恍﹦e的原因，被對(duì)方網(wǎng)站識(shí)別出爬蟲后，自己的IP地址就面臨著被封殺的風(fēng)險(xiǎn)。一旦IP被封殺，那么爬蟲就再也爬取不到數(shù)據(jù)了。

那么常見的更改爬蟲IP的方法有哪些呢？

1，使用動(dòng)態(tài)IP撥號(hào)器服務(wù)器。

動(dòng)態(tài)IP撥號(hào)服務(wù)器的IP地址是可以動(dòng)態(tài)修改的。其實(shí)動(dòng)態(tài)IP撥號(hào)服務(wù)器并不是什么高大上的服務(wù)器，相反，屬于配置很低的一種服務(wù)器。我們之所以使用動(dòng)態(tài)IP撥號(hào)服務(wù)器，不是看中了它的計(jì)算能力，而是能夠?qū)崿F(xiàn)秒換IP。

動(dòng)態(tài)IP撥號(hào)服務(wù)器有一個(gè)特點(diǎn)，就是每次撥號(hào)都會(huì)更換一個(gè)新的IP地址。多年前家庭中的上網(wǎng)方式大多采用的ADSL撥號(hào)上網(wǎng)，也就是斷開網(wǎng)絡(luò)后再撥號(hào)一次，外網(wǎng)IP就會(huì)換成另一個(gè)。

通常來講，這個(gè)IP池很大，可能有多個(gè)AB號(hào)段，IP數(shù)量基本上用不完。對(duì)于爬蟲來說，這簡(jiǎn)直是大殺器，能夠輕松的解決封殺IP的限制。

使用動(dòng)態(tài)IP撥號(hào)服務(wù)器，需要付費(fèi)購買。

2，使用Tor代理服務(wù)器。

Tor（The onion router，洋蔥路由器）是互聯(lián)網(wǎng)上用于保護(hù)隱私最有利的工具之一。如果我們不適用Tor，網(wǎng)絡(luò)請(qǐng)求就會(huì)直接發(fā)送給目標(biāo)服務(wù)器。

相比之下，如果我們使用tor發(fā)送網(wǎng)絡(luò)請(qǐng)求，客戶端就會(huì)選擇一條隨機(jī)路徑到服務(wù)器。這條隨機(jī)路徑中間會(huì)經(jīng)過多個(gè)Tor節(jié)點(diǎn)，而且使用洋蔥路由加密技術(shù)，使得任何節(jié)點(diǎn)都不能偷取加密數(shù)據(jù)，并且該請(qǐng)求的傳輸路徑難以追蹤，也查不出起點(diǎn)在哪。