Python開發(fā)中爬蟲使用代理proxy抓取網(wǎng)頁的方法示例
本文實例講述了Python開發(fā)中爬蟲使用代理proxy抓取網(wǎng)頁的方法。分享給大家供大家參考，具體如下：
代理類型（proxy）:透明代理 匿名代理 混淆代理和高匿代理. 這里寫一些python爬蟲使用代理的知識, 還有一個代理池的類. 方便大家應對工作中各種復雜的抓取問題。
urllib 模塊使用代理
urllib/urllib2使用代理比較麻煩, 需要先構建一個ProxyHandler的類, 隨后將該類用于構建網(wǎng)頁打開的opener的類,再在request中安裝該opener.
代理格式是"http://127.0.0.1:80",如果要賬號密碼是"http://user:password@127.0.0.1:80".
proxy="http://127.0.0.1:80"
# 創(chuàng)建一個ProxyHandler對象
proxy_support=urllib.request.ProxyHandler({'http':proxy})
# 創(chuàng)建一個opener對象
opener = urllib.request.build_opener(proxy_support)
# 給request裝載opener
urllib.request.install_opener(opener)
# 打開一個url
r = urllib.request.urlopen('http://youtube.com',timeout = 120)
requests 模塊 使用代理
requests使用代理要比urllib簡單多了…這里以單次代理為例. 多次的話可以用session一類構建.
如果需要使用代理，你可以通過為任意請求方法提供 proxies 參數(shù)來配置單個請求:
import requests
proxies = {
"http": "http://127.0.0.1:3128",
"https": "http://127.0.0.1:2080",
}
r=requests.get("http://youtube.com", proxies=proxies)
print r.text
你也可以通過環(huán)境變量 HTTP_PROXY 和 HTTPS_PROXY 來配置代理。
export HTTP_PROXY="http://127.0.0.1:3128"
export HTTPS_PROXY="http://127.0.0.1:2080"
python
>>> import requests
>>> r=requests.get("http://youtube.com")
>>> print r.text
若你的代理需要使用HTTP Basic Auth，可以使用 http://user:password@host/ 語法:
proxies = {
"http": "http://user:pass@127.0.0.1:3309/",
}
python的代理使用非常簡單， 最重要的是要找一個網(wǎng)絡穩(wěn)定可靠的代理。
更多關于Python相關內容可查看本站專題：《Python Socket編程技巧總結》、《Python數(shù)據(jù)結構與算法教程》、《Python函數(shù)使用技巧總結》、《Python字符串操作技巧匯總》、《Python入門與進階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》
希望本文所述對大家Python程序設計有所幫助。
相關文章
Python 內置函數(shù)memoryview(obj)的具體用法
本篇文章主要介紹了Python 內置函數(shù)memoryview(obj)的具體用法，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-11-11
本文是玩轉字符串的續(xù)篇，繼續(xù)對字符串的連接方法進行介紹，以及字符串復制、字符串長度、字符大小寫的轉換。非常不錯的文章，希望對大家有所幫助2014-09-09
tensorflow入門:TFRecordDataset變長數(shù)據(jù)的batch讀取詳解
今天小編就為大家分享一篇tensorflow入門:TFRecordDataset變長數(shù)據(jù)的batch讀取詳解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-01-01
這篇文章主要介紹了Python函數(shù)裝飾器,結合實例形式詳細分析了Python裝飾器的原理、功能、分類、常見操作技巧與使用注意事項,需要的朋友可以參考下2021-10-10
今天小編就為大家分享一篇用Python一鍵搭建Http服務器的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-06-06
Python中的heapq模塊提供了一種堆隊列heapq類型,這樣實現(xiàn)堆排序等算法便相當方便,這里我們就來詳解Python中heapq模塊的用法,需要的朋友可以參考下2016-06-06
Python編程ContextManager上下文管理器講解
這篇文章主要介紹了Python編程中對Context Manager上下文管理器的詳解說明，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步2021-09-09
這篇文章主要介紹了Python進程間通信Queue消息隊列用法,結合實例形式分析了基于Queue的進程間通信相關操作技巧與使用注意事項,需要的朋友可以參考下2019-05-05
用python 批量更改圖像尺寸到統(tǒng)一大小的方法
下面小編就為大家分享一篇用python 批量更改圖像尺寸到統(tǒng)一大小的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-03-03
今天學習的算法是KNN近鄰算法。KNN算法是一個監(jiān)督學習分類器類別的算法。下面我們來詳細的探討下2015-06-06