快捷導(dǎo)航

簡(jiǎn)單示例解析python爬蟲IP的使用(小白篇)

更新時(shí)間：2023年06月26日 10:12:21 作者：小白學(xué)大數(shù)據(jù)

這篇文章主要為大家通過簡(jiǎn)單示例解析python爬蟲IP的使用介紹，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪

創(chuàng)建一個(gè)IP池并對(duì)其進(jìn)行管理

Python爬蟲常常會(huì)面臨自己ip地址被封的情況,也許剛?cè)胄械男“拙椭荒艿萯p解封之后再進(jìn)行接下來的操作了,但是這樣的方式卻是最不能借鑒的，萬一數(shù)據(jù)需求量大，那要等到猴年馬月呢?所以今天我們就來探討下如何創(chuàng)建一個(gè)IP池并對(duì)其進(jìn)行管理。對(duì)剛?cè)胄械男“缀苡袔椭?希望大家耐心看下去,需要的朋友可以參考下。

很多的網(wǎng)站都有反爬機(jī)制，其中就有這樣一條，就是服務(wù)器會(huì)檢查請(qǐng)求的user-agent參數(shù)值，如果檢查的結(jié)果為python，那么服務(wù)器就知道這是爬蟲，所以為了避免被服務(wù)器發(fā)現(xiàn)這是爬蟲，我們需要添加隨機(jī)user-agen。這樣就可以避免服務(wù)器發(fā)現(xiàn)這是同一個(gè)user-agent發(fā)起多次請(qǐng)求。

還有一條就是網(wǎng)站會(huì)封IP，一般這樣的情況就直接添加代理IP就可以，那么，從哪里獲取IP呢？小編用的是億牛云的這個(gè)網(wǎng)址，網(wǎng)址鏈接為：https://www.16yun.cn/，。

動(dòng)態(tài)轉(zhuǎn)發(fā)代理

很多小白會(huì)問怎么使用IP，這里介紹一種最簡(jiǎn)單方便的方式，那就是動(dòng)態(tài)轉(zhuǎn)發(fā)代理，我們接下來分享個(gè)示例供大家參考下：

#! -- encoding:utf-8 --

import requests
import random
# 要訪問的目標(biāo)頁(yè)面
targetUrl = "http://httpbin.org/ip"
# 要訪問的目標(biāo)HTTPS頁(yè)面
# targetUrl = "https://httpbin.org/ip"
# 代理服務(wù)器(產(chǎn)品官網(wǎng) www.16yun.cn)
proxyHost = "t.16yun.cn"
proxyPort = "31111"
# 代理驗(yàn)證信息
proxyUser = "username"
proxyPass = "password"
proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
    "host" : proxyHost,
    "port" : proxyPort,
    "user" : proxyUser,
    "pass" : proxyPass,
}
# 設(shè)置 http和https訪問都是用HTTP代理
proxies = {
    "http"  : proxyMeta,
    "https" : proxyMeta,
}
#  設(shè)置IP切換頭
tunnel = random.randint(1,10000)
headers = {"Proxy-Tunnel": str(tunnel)}
resp = requests.get(targetUrl, proxies=proxies, headers=headers)
print resp.status_code
print resp.text