python爬蟲基礎之urllib的使用

更新時間：2020年12月31日 11:44:09 作者：過去圍觀

這篇文章主要介紹了python爬蟲基礎之urllib的使用，幫助大家更好的理解和使用python，感興趣的朋友可以了解下

一、urllib 和 urllib2的關系

在python2中，主要使用urllib和urllib2，而python3對urllib和urllib2進行了重構，拆分成了urllib.request, urllib.parse, urllib.error，urllib.robotparser等幾個子模塊，這樣的架構從邏輯和結構上說更加合理。urllib庫無需安裝，python3自帶。python 3.x中將urllib庫和urilib2庫合并成了urllib庫。

urllib2.urlopen() 變成了 urllib.request.urlopen()
urllib2.Request() 變成了 urllib.request.Request()
python2中的 cookielib 改為 http.cookiejar.
import http.cookiejar 代替 import cookielib
urljoin 現在對應的函數是 urllib.parse.urljoin

二、python3下的urllib庫

request，它是最基本的 HTTP 請求模塊，我們可以用它來模擬發(fā)送一請求，只需要給庫方法傳入 URL 還有額外的參數，就可以模擬實現這個過程了。
error ，即異常處理模塊，如果出現請求錯誤，我們可以捕獲這些異常，然后進行重試或其他操作保證程序不會意外終止。
parse ，是一個工具模塊，提供了許多 URL 處理方法，比如拆分、解析、合并等等的方法。
robotparser，主要是用來識別網站的 robots.txt 文件，然后判斷哪些網站可以爬，哪些網站不可以爬的，其實用的比較少。

三、request的基礎類

（一）request.urlopen

urlopen方法最主要的參數就是目標網站的url地址，可以使str類型，也可以是一個request對象。

get方法請求如下：

from urllib import request,parse
respones = request.urlopen(http://www.baidu.com/)

post方法請求，需要添加data參數（字典格式），它要是字節(jié)流編碼格式的內容，即 bytes 類型，通過 bytes() 方法可以進行轉化，另外如果傳遞了這個 data 參數，不添加data參數就默認為 GET 方式請求。

from urllib import request,parse
url = "http://www.baidu.com/"
wd = {'wd':'哇哈哈哈'}
data = bytes(parse.urlencode(wd),'utf-8')
respones = request.urlopen(url,data=data)

（二）request.Request

由于單獨使用urlopen() 方法的不能添加User-Agent、Cookie等headers信息，需要構建一個 Request 類型的對象，通過構造這個這個數據結構，一方面我們可以將請求獨立成一個對象，另一方面可配置參數更加豐富和靈活。主要參數有：

url 參數是請求 URL，這個是必傳參數，其他的都是可選參數。
data 參數如果要傳必須傳 bytes（字節(jié)流）類型的，如果是一個字典，可以先用 urllib.parse 模塊里的 urlencode() 編碼。
headers 參數是一個字典，這個就是 Request Headers 了，你可以在構造 Request 時通過 headers 參數直接構造，也可以通過調用 Request 實例的 add_header() 方法來添加, Request Headers 最常用的用法就是通過修改 User-Agent 來偽裝瀏覽器，默認的 User-Agent 是 Python-urllib，我們可以通過修改它來偽裝瀏覽器。
origin_req_host 參數指的是請求方的 host 名稱或者 IP 地址。
unverifiable 參數指的是這個請求是否是無法驗證的，默認是False。意思就是說用戶沒有足夠權限來選擇接收這個請求的結果。例如我們請求一個 HTML 文檔中的圖片，但是我們沒有自動抓取圖像的權限，這時 unverifiable 的值就是 True。
method 參數是一個字符串，它用來指示請求使用的方法，比如GET，POST，PUT等等。

通過隨機的方法，選擇user-agent:

import randomUA_LIST = [
  'Mozilla/5.0 (compatible; U; ABrowse 0.6; Syllable) AppleWebKit/420+ (KHTML, like Gecko)',
  'Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; Acoo Browser 1.98.744; .NET CLR 3.5.30729)',
  'Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; Acoo Browser 1.98.744; .NET CLR 3.5.30729)',
  'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; Acoo Browser; GTB5; Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) ; InfoPath.1; .NET CLR 3.5.30729; .NET CLR 3.0.30618)',
  'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; SV1; Acoo Browser; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; Avant Browser)',
  'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)',
  'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; GTB5; Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) ; Maxthon; InfoPath.1; .NET CLR 3.5.30729; .NET CLR 3.0.30618)',
  'Mozilla/4.0 (compatible; Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; Acoo Browser 1.98.744; .NET CLR 3.5.30729); Windows NT 5.1; Trident/4.0)',
  'Mozilla/4.0 (compatible; Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; GTB6; Acoo Browser; .NET CLR 1.1.4322; .NET CLR 2.0.50727); Windows NT 5.1; Trident/4.0; Maxthon; .NET CLR 2.0.50727; .NET CLR 1.1.4322; InfoPath.2)',
  'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; Acoo Browser; GTB6; Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) ; InfoPath.1; .NET CLR 3.5.30729; .NET CLR 3.0.30618)'
]

#隨機獲取一個user-agent
user_agent = random.choice(UA_LIST)

添加headers頭部信息的方法1:

url='http://www.baidu.com/'user_agent = random.choice(UA_LIST)
headers = {
  'User-Agent': user_agent
}
req = request.Request(url=url,headers=headers)
respones = request.urlopen(req)

添加headers頭部信息的方法2:

url='http://www.baidu.com'
headers = {
  'User-Agent': user_agent
}
#添加user-agent的方法2
req = request.Request(url)
#請求添加user-agent
req.add_header("User-Agent",user_agent)
#獲取請求的user-agent agent的a要小寫
print(req.get_header("User-agent"))
response = request.urlopen(req)print(respones.read().decode('utf-8'))

三、request的高級類

在urllib.request模塊里的BaseHandler類，他是所有其他Handler的父類，他是一個處理器，比如用它來處理登錄驗證，處理cookies，代理設置，重定向等。它提供了直接使用和派生類使用的方法：

add_parent(director)：添加director作為父類
close()：關閉它的父類
parent()：打開使用不同的協(xié)議或處理錯誤
defautl_open(req)：捕獲所有的URL及子類，在協(xié)議打開之前調用

Handler的子類包括：

HTTPDefaultErrorHandler：用來處理http響應錯誤，錯誤會拋出HTTPError類的異常
HTTPRedirectHandler：用于處理重定向
HTTPCookieProcessor：用于處理cookies
ProxyHandler：用于設置代理，默認代理為空
HTTPPasswordMgr：永遠管理密碼，它維護用戶名和密碼表
HTTPBasicAuthHandler：用戶管理認證，如果一個鏈接打開時需要認證，可以使用它來實現驗證功能

（一）ProxyHandler

如果爬蟲需要大量爬取網站數據，為了避免被封號，需要使用代理，通過request.build_opener()方法生成一個opener對象，添加代理的方法如下：

from urllib import request

#代理開關，表示是否開啟代理
proxyswitch =True

#構建一個handler處理器對象，參數是一個字典類型，包括代理類型和代理服務器IP+PORT
proxyhandler = request.ProxyHandler({"http":"191.96.42.80:3128"})
#如果是帶用戶名和密碼的代理，格式為{"http":"username:passwd@191.96.42.80:3128"}

#不加代理的handler處理器對象
nullproxyhandler = request.ProxyHandler()

if proxyswitch:
  opener = request.build_opener(proxyhandler)
else:
  opener = request.build_opener(nullproxyhandler)

req = request.Request("http://www.baidu.com/")

response = opener.open(req)

print(response.read().decode("utf-8"))

（二）ProxyBasicAuthHandler

通過密碼管理器的方法實現代理服務器功能

from urllib import request
#代理密碼管理，也可以管理服務器賬戶密碼

#賬戶密碼
user = "username"
passwd = "passwd"

#代理服務器
proxyserver = "1.1.1.1:9999"

#構建密碼管理對象，保存需要處理的用戶名和密碼
passmgr = request.HTTPPasswordMgrWithDefaultRealm()

#添加賬戶信息，第一個參數realm是與遠程服務器相關的域信息
passmgr.add_password(None,proxyserver,user,passwd)

#構建基礎ProxyBasicAuthHandler處理器對象
proxyauth_handler = request.ProxyBasicAuthHandler(passmgr)

opener = request.build_opener(proxyauth_handler)

req = request.Request("http://www.baidu.com/")

response = opener.open(req)

（三）ProxyBasicAuthHandler

通過密碼管理器的方法實現web認證登陸功能

#web驗證
from urllib import request

test = "test"
passwd = "123456"

webserver = "1.1.1.1"

#構建密碼管理器handler
passwdmgr = request.HTTPPasswordMgrWithDefaultRealm()
#添加密碼信息
passwdmgr.add_password(None,webserver,test,passwd)

#HTTP基礎驗證處理器類
http_authhandler = request.HTTPBasicAuthHandler(passwdmgr)

opener = request.build_opener(http_authhandler)

req = request.Request("http://"+webserver)

response = opener.open(req)

四、Cookie處理

通過http.cookiejar中的HTTPCookieProcessor構建cookie處理器對象，處理cookie信息

import http.cookiejar
from urllib import request,parse
#模擬登陸先post賬戶密碼
#然后保存生成的cookie

#通過CookieJar類構件一個coociejar對象,從來保存cookie值
cookie = http.cookiejar.CookieJar()

#構件cookie處理器對象，用來處理cookie
cookie_handler = request.HTTPCookieProcessor(cookie)

#構件一個自定義的opener
opener = request.build_opener(cookie_handler)

#通過自定義的opener的addheaders參數，可以添加HTTP報頭參數
opener.addheaders = [("User-Agent","Mozilla/5.0 (compatible; U; ABrowse 0.6; Syllable) AppleWebKit/420+ (KHTML, like Gecko)"),]

#需要登陸的接口
url = 'http://www.renren.com/PLogin.do'

#需要登陸的賬戶密碼
data = {
  "email":"renren賬號",
  "password":"密碼"
}
#數據處理
data = bytes(parse.urlencode(data),'utf-8')
#第一次是POST請求，通過登陸賬戶密碼，得到cookie
req = request.Request(url,data=data)
#發(fā)送第一次POST請求，生成登陸后的cookie
response = opener.open(req)

print(response.read().decode("utf-8"))

#此時的opener已經包含了該鏈接下的cookie，此時使用該opener就可以直接訪問該站點下其他的網頁而不需要再登陸了
opener.open(http://www.renren.com/PLogin.doxxxxxxxxxxxxx)

以上就是python爬蟲基礎之urllib的使用的詳細內容，更多關于python 爬蟲urllib的資料請關注腳本之家其它相關文章！

您可能感興趣的文章:

Python中作用域的深入講解
這篇文章主要給大家介紹了關于Python中作用域的相關資料，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
2018-12-12
Python Requests庫及用法詳解
Requests庫作為Python中最受歡迎的HTTP庫之一,為開發(fā)人員提供了簡單而強大的方式來發(fā)送HTTP請求和處理響應,本文將帶領您深入探索Python Requests庫的世界,我們將從基礎知識開始,逐步深入,覆蓋各種高級用法和技巧,感興趣的朋友一起看看吧
2024-06-06
django 多數據庫配置教程
今天小編就為大家分享一篇django 多數據庫配置教程，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2018-05-05
Python sorted對list和dict排序
這篇文章主要介紹了Python sorted對list和dict排序，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
2020-06-06
Python二進制文件轉換為文本文件的代碼實現
在日常編程中,我們經常會遇到需要將二進制文件轉換為文本文件的情況,在Python中,我們可以利用各種庫和技術來完成這項任務,本文將介紹如何使用Python將二進制文件轉換為文本文件,并提供實用的代碼示例,需要的朋友可以參考下
2024-04-04
Python中模塊的使用--binascii模塊用法
這篇文章主要介紹了Python中模塊的使用--binascii模塊用法，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教
2022-05-05
Python實現拼音轉換
拼音轉換指的是將漢字轉為拼音的過程。本文介紹了Python實現拼音轉換，具有一定的參考價值，感興趣的小伙伴們可以參考一下
2021-06-06
解決python打不開文件(文件不存在)的問題
今天小編就為大家分享一篇解決python打不開文件(文件不存在)的問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2019-02-02
python實現數獨游戲 java簡單實現數獨游戲
這篇文章主要為大家詳細介紹了python實現數獨游戲和java實現數獨游戲的相關代碼，比較兩種語言實現數獨游戲的區(qū)別
2018-03-03
python中time.ctime()實例用法
在本篇內容里小編給大家整理的是一篇關于python中time.ctime()實例用法內容，有興趣的朋友們可以跟著學習參考下。
2021-02-02

欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

python爬蟲基礎之urllib的使用

一、urllib 和 urllib2的關系

二、python3下的urllib庫

三、request的基礎類

（一）request.urlopen

（二）request.Request

通過隨機的方法，選擇user-agent:

添加headers頭部信息的方法1:

添加headers頭部信息的方法2:

三、request的高級類

Handler的子類包括：

（一）ProxyHandler

（二）ProxyBasicAuthHandler

（三）ProxyBasicAuthHandler

四、Cookie處理

相關文章

最新評論

大家感興趣的內容

最近更新的內容

常用在線小工具

欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

python爬蟲基礎之urllib的使用

一、urllib 和 urllib2的關系

二、python3下的urllib庫

三、request的基礎類

（一）request.urlopen

（二）request.Request

通過隨機的方法，選擇user-agent:

添加headers頭部信息的方法1:

添加headers頭部信息的方法2:

三、request的高級類

Handler的子類包括：

（一）ProxyHandler

（二）ProxyBasicAuthHandler

（三）ProxyBasicAuthHandler

四、Cookie處理

相關文章

最新評論

大家感興趣的內容

最近更新的內容

常用在線小工具

一、urllib 和 urllib2的關系

二、python3下的urllib庫

三、request的基礎類

通過隨機的方法，選擇user-agent:

三、request的高級類

四、Cookie處理