欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

對(duì)python使用http、https代理的實(shí)例講解

 更新時(shí)間：2018年05月07日 09:45:43   作者：wanghong5211  
今天小編就為大家分享一篇對(duì)python使用http、https代理的實(shí)例講解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧

在國內(nèi)利用Python從Internet上爬取數(shù)據(jù)時(shí)，有些網(wǎng)站或API接口被限速或屏蔽，這時(shí)使用代理可以加速爬取過程，減少請(qǐng)求失敗，Python程序使用代理的方法主要有以下幾種：

（1）如果是在代碼中使用一些網(wǎng)絡(luò)庫或爬蟲框架進(jìn)行數(shù)據(jù)爬取，一般這種框架都會(huì)支持設(shè)置代理，例如：

<span style="font-size:14px;">import urllib.request as urlreq 
# 設(shè)置https代理 
ph = urlreq.ProxyHandler({'https': 'https://127.0.0.1:1080'}) 
oper = urlreq.build_opener(ph) 
# 將代理安裝到全局環(huán)境，這樣所有請(qǐng)求都會(huì)自動(dòng)使用代理 
urlreq.install_opener(oper) 
res = oper.open("https://www.google.com") 
print(res.read())</span> 

<span style="font-size:14px;">import requests as req 
print(req.get("https://www.google.com", proxies={'https': 'https://127.0.0.1:1080'}).content)</span>

（2）如果使用的庫沒有提供設(shè)置代理的接口，但是底層使用了urllib、requests等庫，可以嘗試設(shè)置HTTP_PROXY 和HTTPS_PROXY環(huán)境變量，常用的網(wǎng)絡(luò)庫會(huì)自動(dòng)識(shí)別這些環(huán)境變量，使用變量設(shè)置的代理發(fā)起請(qǐng)求，設(shè)置如下：

import os 
os.environ['http_proxy'] = 'http://127.0.0.1:1080' 
os.environ['https_proxy'] = 'https://127.0.0.1:1080'

（3）如果上述兩種方法都沒有用，那么還可以使用一些可以監(jiān)聽、攔截和修改網(wǎng)絡(luò)包的工具和庫如（Fiddler、mitmproxy）來攔截http請(qǐng)求包并修改地址，達(dá)到使用代理的效果。

以上這篇對(duì)python使用http、https代理的實(shí)例講解就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

相關(guān)文章

最新評(píng)論