Python使用urllib2獲取網(wǎng)絡(luò)資源實(shí)例講解
這是具有利用不同協(xié)議獲取URLs的能力，他同樣提供了一個(gè)比較復(fù)雜的接口來(lái)處理一般情況，例如：基礎(chǔ)驗(yàn)證，cookies,代理和其他。
它們通過(guò)handlers和openers的對(duì)象提供。
urllib2支持獲取不同格式的URLs(在URL的":"前定義的字串,例如："ftp"是"ftp:python.ort/"的前綴),它們利用它們相關(guān)網(wǎng)絡(luò)協(xié)議(例如FTP,HTTP)
進(jìn)行獲取。這篇教程關(guān)注最廣泛的應(yīng)用--HTTP。
對(duì)于簡(jiǎn)單的應(yīng)用，urlopen是非常容易使用的。但當(dāng)你在打開(kāi)HTTP的URLs時(shí)遇到錯(cuò)誤或異常，你將需要一些超文本傳輸協(xié)議(HTTP)的理解。
最權(quán)威的HTTP文檔當(dāng)然是RFC 2616(http://rfc.net/rfc2616.html)。這是一個(gè)技術(shù)文檔，所以并不易于閱讀。這篇HOWTO教程的目的是展現(xiàn)如何使用urllib2,
并提供足夠的HTTP細(xì)節(jié)來(lái)幫助你理解。他并不是urllib2的文檔說(shuō)明，而是起一個(gè)輔助作用。
獲取 URLs
最簡(jiǎn)單的使用urllib2將如下所示
import urllib2
response = urllib2.urlopen('http://python.org/')
html = response.read()
urllib2的很多應(yīng)用就是那么簡(jiǎn)單(記住，除了"http:",URL同樣可以使用"ftp:","file:"等等來(lái)替代)。但這篇文章是教授HTTP的更復(fù)雜的應(yīng)用。
HTTP是基于請(qǐng)求和應(yīng)答機(jī)制的--客戶(hù)端提出請(qǐng)求，服務(wù)端提供應(yīng)答。urllib2用一個(gè)Request對(duì)象來(lái)映射你提出的HTTP請(qǐng)求,在它最簡(jiǎn)單的使用形式中你將用你要請(qǐng)求的
地址創(chuàng)建一個(gè)Request對(duì)象，通過(guò)調(diào)用urlopen并傳入Request對(duì)象，將返回一個(gè)相關(guān)請(qǐng)求response對(duì)象，這個(gè)應(yīng)答對(duì)象如同一個(gè)文件對(duì)象，所以你可以在Response中調(diào)用.read()。
import urllib2
req = urllib2.Request('http://www.dbjr.com.cn')
response = urllib2.urlopen(req)
the_page = response.read()
記得urllib2使用相同的接口處理所有的URL頭。例如你可以像下面那樣創(chuàng)建一個(gè)ftp請(qǐng)求。
req = urllib2.Request('ftp://example.com/')
在HTTP請(qǐng)求時(shí)，允許你做額外的兩件事。首先是你能夠發(fā)送data表單數(shù)據(jù)，其次你能夠傳送額外的關(guān)于數(shù)據(jù)或發(fā)送本身的信息("metadata")到服務(wù)器，此數(shù)據(jù)作為HTTP的"headers"來(lái)發(fā)送。
接下來(lái)讓我們看看這些如何發(fā)送的吧。
Data數(shù)據(jù)
有時(shí)候你希望發(fā)送一些數(shù)據(jù)到URL(通常URL與CGI[通用網(wǎng)關(guān)接口]腳本，或其他WEB應(yīng)用程序掛接)。在HTTP中,這個(gè)經(jīng)常使用熟知的POST請(qǐng)求發(fā)送。這個(gè)通常在你提交一個(gè)HTML表單時(shí)由你的瀏覽器來(lái)做。
并不是所有的POSTs都來(lái)源于表單，你能夠使用POST提交任意的數(shù)據(jù)到你自己的程序。一般的HTML表單，data需要編碼成標(biāo)準(zhǔn)形式。然后做為data參數(shù)傳到Request對(duì)象。編碼工作使用urllib的函數(shù)而非
urllib2。
import urllib
import urllib2
url = 'http://www.dbjr.com.cn'
values = {'name' : 'Michael Foord',
'location' : 'Northampton',
'language' : 'Python' }
data = urllib.urlencode(values)
req = urllib2.Request(url, data)
response = urllib2.urlopen(req)
the_page = response.read()
記住有時(shí)需要?jiǎng)e的編碼(例如從HTML上傳文件--看http://www.w3.org/TR/REC-html40/interact/forms.html#h-17.13 HTML Specification, Form Submission的詳細(xì)說(shuō)明)。
如ugoni沒(méi)有傳送data參數(shù)，urllib2使用GET方式的請(qǐng)求。GET和POST請(qǐng)求的不同之處是POST請(qǐng)求通常有"副作用"，它們會(huì)由于某種途徑改變系統(tǒng)狀態(tài)(例如提交成堆垃圾到你的門(mén)口)。
盡管HTTP標(biāo)準(zhǔn)說(shuō)的很清楚POSTs通常會(huì)產(chǎn)生副作用，GET請(qǐng)求不會(huì)產(chǎn)生副作用，但沒(méi)有什么可以阻止GET請(qǐng)求產(chǎn)生副作用，同樣POST請(qǐng)求也可能不產(chǎn)生副作用。Data同樣可以通過(guò)在Get請(qǐng)求
的URL本身上面編碼來(lái)傳送。
可看如下例子
>>> import urllib2
>>> import urllib
>>> data = {}
>>> data['name'] = 'Somebody Here'
>>> data['location'] = 'Northampton'
>>> data['language'] = 'Python'
>>> url_values = urllib.urlencode(data)
>>> print url_values
name=Somebody+Here&language=Python&location=Northampton
>>> url = 'http://www.dbjr.com.cn'
>>> full_url = url + '?' + url_values
>>> data = urllib2.open(full_url)
Headers
我們將在這里討論特定的HTTP頭，來(lái)說(shuō)明怎樣添加headers到你的HTTP請(qǐng)求。
有一些站點(diǎn)不喜歡被程序（非人為訪(fǎng)問(wèn)）訪(fǎng)問(wèn)，或者發(fā)送不同版本的內(nèi)容到不同的瀏覽器。默認(rèn)的urllib2把自己作為“Python-urllib/x.y”(x和y是Python主版本和次版本號(hào),例如Python-urllib/2.5)，
這個(gè)身份可能會(huì)讓站點(diǎn)迷惑，或者干脆不工作。瀏覽器確認(rèn)自己身份是通過(guò)User-Agent頭，當(dāng)你創(chuàng)建了一個(gè)請(qǐng)求對(duì)象，你可以給他一個(gè)包含頭數(shù)據(jù)的字典。下面的例子發(fā)送跟上面一樣的內(nèi)容，但把自身
模擬成Internet Explorer。
import urllib
import urllib2
url = 'http://www.dbjr.com.cn'
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
values = {'name' : 'Michael Foord',
'location' : 'Northampton',
'language' : 'Python' }
headers = { 'User-Agent' : user_agent }
data = urllib.urlencode(values)
req = urllib2.Request(url, data, headers)
response = urllib2.urlopen(req)
the_page = response.read()
response應(yīng)答對(duì)象同樣有兩個(gè)很有用的方法?？聪旅娴墓?jié)info and geturl，我們將看到當(dāng)發(fā)生錯(cuò)誤時(shí)會(huì)發(fā)生什么。
Handle Exceptions處理異常
當(dāng)urlopen不能夠處理一個(gè)response時(shí)，產(chǎn)生urlError（不過(guò)通常的Python APIs異常如ValueError,TypeError等也會(huì)同時(shí)產(chǎn)生）。
HTTPError是urlError的子類(lèi)，通常在特定HTTP URLs中產(chǎn)生。
URLError
通常，URLError在沒(méi)有網(wǎng)絡(luò)連接(沒(méi)有路由到特定服務(wù)器),或者服務(wù)器不存在的情況下產(chǎn)生。這種情況下，異常同樣會(huì)帶有"reason"屬性，它是一個(gè)tuple，包含了一個(gè)錯(cuò)誤號(hào)和一個(gè)錯(cuò)誤信息。
例如
>>> req = urllib2.Request('http://www.dbjr.com.cn')
>>> try: urllib2.urlopen(req)
>>> except URLError, e:
>>> print e.reason
>>>
(4, 'getaddrinfo failed')
HTTPError
服務(wù)器上每一個(gè)HTTP 應(yīng)答對(duì)象response包含一個(gè)數(shù)字"狀態(tài)碼"。有時(shí)狀態(tài)碼指出服務(wù)器無(wú)法完成請(qǐng)求。默認(rèn)的處理器會(huì)為你處理一部分這種應(yīng)答(例如:假如response是一個(gè)"重定向"，需要客戶(hù)端從別的地址獲取文檔
，urllib2將為你處理)。其他不能處理的，urlopen會(huì)產(chǎn)生一個(gè)HTTPError。典型的錯(cuò)誤包含"404"(頁(yè)面無(wú)法找到)，"403"(請(qǐng)求禁止)，和"401"(帶驗(yàn)證請(qǐng)求)。
請(qǐng)看RFC 2616 第十節(jié)有所有的HTTP錯(cuò)誤碼
HTTPError實(shí)例產(chǎn)生后會(huì)有一個(gè)整型'code'屬性，是服務(wù)器發(fā)送的相關(guān)錯(cuò)誤號(hào)。
Error Codes錯(cuò)誤碼
因?yàn)槟J(rèn)的處理器處理了重定向(300以外號(hào)碼)，并且100-299范圍的號(hào)碼指示成功，所以你只能看到400-599的錯(cuò)誤號(hào)碼。
BaseHTTPServer.BaseHTTPRequestHandler.response是一個(gè)很有用的應(yīng)答號(hào)碼字典，顯示了RFC 2616使用的所有的應(yīng)答號(hào)。這里為了方便重新展示該字典。（譯者略）
當(dāng)一個(gè)錯(cuò)誤號(hào)產(chǎn)生后，服務(wù)器返回一個(gè)HTTP錯(cuò)誤號(hào)，和一個(gè)錯(cuò)誤頁(yè)面。你可以使用HTTPError實(shí)例作為頁(yè)面返回的應(yīng)答對(duì)象response。這表示和錯(cuò)誤屬性一樣，它同樣包含了read,geturl,和info方法。
>>> req = urllib2.Request('http://www.python.org/fish.html')
>>> try:
>>> urllib2.urlopen(req)
>>> except URLError, e:
>>> print e.code
>>> print e.read()
>>>
404
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"
"http://www.w3.org/TR/html4/loose.dtd">
<?xml-stylesheet href="./css/ht2html.css"
type="text/css"?>
<html><head><title>Error 404: File Not Found</title>
...... etc...
Wrapping it Up包裝
所以如果你想為HTTPError或URLError做準(zhǔn)備，將有兩個(gè)基本的辦法。我則比較喜歡第二種。
第一個(gè)：
from urllib2 import Request, urlopen, URLError, HTTPError
req = Request(someurl)
try:
response = urlopen(req)
except HTTPError, e:
print 'The server couldn\'t fulfill the request.'
print 'Error code: ', e.code
except URLError, e:
print 'We failed to reach a server.'
print 'Reason: ', e.reason
else:
# everything is fine
注意：except HTTPError 必須在第一個(gè)，否則except URLError將同樣接受到HTTPError。
第二個(gè)：
from urllib2 import Request, urlopen, URLError
req = Request(someurl)
try:
response = urlopen(req)
except URLError, e:
if hasattr(e, 'reason'):
print 'We failed to reach a server.'
print 'Reason: ', e.reason
elif hasattr(e, 'code'):
print 'The server couldn\'t fulfill the request.'
print 'Error code: ', e.code
else:
# everything is fine
info and geturl
urlopen返回的應(yīng)答對(duì)象response(或者HTTPError實(shí)例)有兩個(gè)很有用的方法info()和geturl()
geturl -- 這個(gè)返回獲取的真實(shí)的URL，這個(gè)很有用，因?yàn)閡rlopen(或者opener對(duì)象使用的)或許
會(huì)有重定向。獲取的URL或許跟請(qǐng)求URL不同。
info -- 這個(gè)返回對(duì)象的字典對(duì)象，該字典描述了獲取的頁(yè)面情況。通常是服務(wù)器發(fā)送的特定頭headers。目前是httplib.HTTPMessage 實(shí)例。
經(jīng)典的headers包含"Content-length"，"Content-type"，和其他。查看Quick Reference to HTTP Headers(http://www.cs.tut.fi/~jkorpela/http.html)
獲取有用的HTTP頭列表，以及它們的解釋意義。
Openers和Handlers
當(dāng)你獲取一個(gè)URL你使用一個(gè)opener(一個(gè)urllib2.OpenerDirector的實(shí)例，urllib2.OpenerDirector可能名字可能有點(diǎn)讓人混淆。)正常情況下，我們
使用默認(rèn)opener -- 通過(guò)urlopen,但你能夠創(chuàng)建個(gè)性的openers，Openers使用處理器handlers，所有的“繁重”工作由handlers處理。每個(gè)handlers知道
如何通過(guò)特定協(xié)議打開(kāi)URLs，或者如何處理URL打開(kāi)時(shí)的各個(gè)方面，例如HTTP重定向或者HTTP cookies。
如果你希望用特定處理器獲取URLs你會(huì)想創(chuàng)建一個(gè)openers，例如獲取一個(gè)能處理cookie的opener，或者獲取一個(gè)不重定向的opener。
要?jiǎng)?chuàng)建一個(gè) opener,實(shí)例化一個(gè)OpenerDirector，然后調(diào)用不斷調(diào)用.add_handler(some_handler_instance).
同樣，可以使用build_opener，這是一個(gè)更加方便的函數(shù)，用來(lái)創(chuàng)建opener對(duì)象，他只需要一次函數(shù)調(diào)用。
build_opener默認(rèn)添加幾個(gè)處理器，但提供快捷的方法來(lái)添加或更新默認(rèn)處理器。
其他的處理器handlers你或許會(huì)希望處理代理，驗(yàn)證，和其他常用但有點(diǎn)特殊的情況。
install_opener 用來(lái)創(chuàng)建（全局）默認(rèn)opener。這個(gè)表示調(diào)用urlopen將使用你安裝的opener。
Opener對(duì)象有一個(gè)open方法，該方法可以像urlopen函數(shù)那樣直接用來(lái)獲取urls：通常不必調(diào)用install_opener，除了為了方便。
相關(guān)文章
這篇文章主要介紹了python 模擬放風(fēng)箏的示例代碼，幫助大家更好的利用python處理圖像，感興趣的朋友可以了解下2021-04-04
這篇文章主要介紹了如何用Python生成二維碼、解析二維碼，幫助大家更好的理解和學(xué)習(xí)使用python，感興趣的朋友可以了解下2021-03-03
python通過(guò)imaplib模塊讀取gmail里郵件的方法
這篇文章主要介紹了python通過(guò)imaplib模塊讀取gmail里郵件的方法,涉及Python操作imaplib模塊操作郵件的相關(guān)技巧,需要的朋友可以參考下2015-05-05
python利用opencv如何實(shí)現(xiàn)答題卡自動(dòng)判卷
由于工作需要,最近在研究關(guān)于如何通過(guò)程序識(shí)別答題卡的客觀(guān)題的答案,所以下面這篇文章主要介紹了python利用opencv如何實(shí)現(xiàn)答題卡自動(dòng)判卷的相關(guān)資料,需要的朋友可以參考下2021-08-08
Python中subprocess模塊用法實(shí)例詳解
這篇文章主要介紹了Python中subprocess模塊用法,實(shí)例分析了subprocess模塊的相關(guān)使用技巧,需要的朋友可以參考下2015-05-05
這篇文章主要為大家詳細(xì)介紹了Python深度優(yōu)先算法生成迷宮，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-01-01
python 刪除指定時(shí)間間隔之前的文件實(shí)例
下面小編就為大家分享一篇python 刪除指定時(shí)間間隔之前的文件實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-04-04
Python爬取智聯(lián)招聘數(shù)據(jù)分析師崗位相關(guān)信息的方法
這篇文章主要介紹了Python爬取智聯(lián)招聘數(shù)據(jù)分析師崗位相關(guān)信息的方法，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-08-08
pycharm 是很好的一個(gè)IDE，在windows下，和macOS下，都能很好的運(yùn)行。唯一缺點(diǎn)是啟動(dòng)慢。默認(rèn)字體太小，在mac下，需要瞪大24K氪金狗眼才能看清。 為了保護(hù)好眼睛，我們需要把字體調(diào)整大一些：2014-06-06
這篇文章主要介紹了Pandas透視表（pivot_table）詳解，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-07-07