Python urllib模塊urlopen()與urlretrieve()詳解

更新時間：2013年11月01日 10:18:40 作者：

Python urllib模塊urlopen()與urlretrieve()的使用方法詳解。

1.urlopen()方法
urllib.urlopen(url[, data[, proxies]]) :創(chuàng)建一個表示遠程url的類文件對象，然后像本地文件一樣操作這個類文件對象來獲取遠程數(shù)據(jù)。
參數(shù)url表示遠程數(shù)據(jù)的路徑，一般是網(wǎng)址；
參數(shù)data表示以post方式提交到url的數(shù)據(jù)(玩過web的人應該知道提交數(shù)據(jù)的兩種方式：post與get。如果你不清楚，也不必太在意，一般情況下很少用到這個參數(shù))；
參數(shù)proxies用于設置代理。
urlopen返回一個類文件對象，它提供了如下方法：
read() , readline() , readlines() , fileno() , close() ：這些方法的使用方式與文件對象完全一樣;
info()：返回一個httplib.HTTPMessage 對象，表示遠程服務器返回的頭信息
getcode()：返回Http狀態(tài)碼。如果是http請求，200表示請求成功完成;404表示網(wǎng)址未找到；
geturl()：返回請求的url；
代碼示例：

復制代碼代碼如下:

import urllib

url = "http://www.baidu.com/"

#urlopen()
sock = urllib.urlopen(url)
htmlCode = sock.read()
sock.close
fp = open("e:/1.html","wb")
fp.write(htmlCode)
fp.close

#urlretrieve()
urllib.urlretrieve(url, 'e:/2.html')

2.urlretrieve方法
直接將遠程數(shù)據(jù)下載到本地。

復制代碼代碼如下:

urllib.urlretrieve(url[, filename[, reporthook[, data]]])
參數(shù)說明：
url：外部或者本地url
filename：指定了保存到本地的路徑（如果未指定該參數(shù)，urllib會生成一個臨時文件來保存數(shù)據(jù)）；
reporthook：是一個回調函數(shù)，當連接上服務器、以及相應的數(shù)據(jù)塊傳輸完畢的時候會觸發(fā)該回調。我們可以利用這個回調函數(shù)來顯示當前的下載進度。
data：指post到服務器的數(shù)據(jù)。該方法返回一個包含兩個元素的元組(filename, headers)，filename表示保存到本地的路徑，header表示服務器的響應頭。

下面通過例子來演示一下這個方法的使用，這個例子將新浪首頁的html抓取到本地，保存在D:/sina.html文件中，同時顯示下載的進度。

復制代碼代碼如下:

import urllib
def callbackfunc(blocknum, blocksize, totalsize):
    '''回調函數(shù)
    @blocknum: 已經(jīng)下載的數(shù)據(jù)塊
    @blocksize: 數(shù)據(jù)塊的大小
    @totalsize: 遠程文件的大小
    '''
    percent = 100.0 * blocknum * blocksize / totalsize
    if percent > 100:
        percent = 100
    print "%.2f%%"% percent

url = 'http://www.sina.com.cn'
local = 'd:\\sina.html'
urllib.urlretrieve(url, local, callbackfunc)

您可能感興趣的文章: