主要內(nèi)容：代理ip使用原理，怎么在自己的爬蟲(chóng)里設(shè)置代理ip，怎么知道代理ip是否生效，沒(méi)生效的話(huà)哪里出了問(wèn)題，個(gè)人使用的代理ip(付費(fèi)）。

代理ip原理

輸入網(wǎng)址后發(fā)生了什么呢？

1.瀏覽器獲取域名

2.通過(guò)DNS協(xié)議獲取域名對(duì)應(yīng)服務(wù)器的ip地址

3.瀏覽器和對(duì)應(yīng)的服務(wù)器通過(guò)三次握手建立TCP連接

4.瀏覽器通過(guò)HTTP協(xié)議向服務(wù)器發(fā)送數(shù)據(jù)請(qǐng)求

5.服務(wù)器將查詢(xún)結(jié)果返回給瀏覽器

6.四次揮手釋放TCP連接

7.瀏覽器渲染結(jié)果

其中涉及到了：

應(yīng)用層：HTTP和DNS

傳輸層：TCP UDP

網(wǎng)絡(luò)層：IP ICMP ARP

代理ip做了什么呢？

簡(jiǎn)單來(lái)說(shuō)，就是：

原本你的訪(fǎng)問(wèn)

使用代理后你的訪(fǎng)問(wèn)

 為什么要用代理呢？

因?yàn)槲覀冊(cè)谧雠老x(chóng)的過(guò)程中經(jīng)常會(huì)遇到這樣的情況，最初爬蟲(chóng)正常運(yùn)行，正常抓取數(shù)據(jù)，一切看起來(lái)都是那么美好，然而一杯茶的功夫可能就會(huì)出現(xiàn)錯(cuò)誤，比如403 Forbidden，這時(shí)候打開(kāi)網(wǎng)頁(yè)一看，可能會(huì)看到“您的IP訪(fǎng)問(wèn)頻率太高”這樣的提示。出現(xiàn)這種現(xiàn)象的原因是網(wǎng)站采取了一些反爬蟲(chóng)措施。比如，服務(wù)器會(huì)檢測(cè)某個(gè)IP在單位時(shí)間內(nèi)的請(qǐng)求次數(shù)，如果超過(guò)了這個(gè)閾值，就會(huì)直接拒絕服務(wù)，返回一些錯(cuò)誤信息，這種情況可以稱(chēng)為封IP。而代理ip就避免了這個(gè)問(wèn)題：

爬蟲(chóng)代碼中使用代理ip

就像是請(qǐng)求時(shí)偽裝頭一樣，偽裝ip，注意是 { }

proxies = {
           'https':'117.29.228.43:64257',
           'http':'117.29.228.43:64257'
       }
 
requests.get(url, headers=head, proxies=proxies, timeout=3) #proxies

檢驗(yàn)代理ip是否生效

我們?cè)L問(wèn)一個(gè)網(wǎng)站，這個(gè)網(wǎng)站會(huì)返回我們的ip地址：

print(requests.get('http://httpbin.org/ip', proxies=proxies, timeout=3).text)

我們看一下我使用了四個(gè)不同的代理ip，全部生效了，

 未生效問(wèn)題排查

如果你返回的還是本機(jī)地址，99%試一下兩種情況之一：

1.請(qǐng)求協(xié)議不匹配

簡(jiǎn)單來(lái)說(shuō)就是，如果你請(qǐng)求的是http，就要用http的協(xié)議，如果是https，就要用https的協(xié)議。

如果我請(qǐng)求是http ，但只有https，就會(huì)使用本機(jī)ip。

2.代理失效

便宜沒(méi)好貨，好貨不便宜。如果確實(shí)大規(guī)模爬蟲(chóng)是必須的話(huà)，還是買(mǎi)代理ip比較好，網(wǎng)上廣告滿(mǎn)天飛的某些代理實(shí)際性?xún)r(jià)比有些低了，自己常用的就不分享了，總是被當(dāng)成廣告，推薦一些其他的比如：

1、IPIDEA

2、Stormproxies

3、YourPrivateProxy

4、GeoSurf

當(dāng)然還有大家熟知的快代理，西刺等等，都有一些免費(fèi)代理可供使用。

總結(jié)

到此這篇關(guān)于python爬蟲(chóng)之代理ip正確使用方法的文章就介紹到這了,更多相關(guān)python爬蟲(chóng)代理ip內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論