快捷導(dǎo)航

python的rllib庫你了解嗎

更新時(shí)間：2021年11月02日 08:42:42 作者：不怕晚

這篇文章主要介紹了python urllib庫的使用，幫助大家更好的利用python學(xué)習(xí)爬蟲，感興趣的朋友可以了解下,希望能夠給你帶來幫助

urllib庫作用

urllib 庫是Python內(nèi)置的 HTTP 請求庫。urllib 模塊提供的上層接口，使訪問 www 和 ftp 上的數(shù)據(jù)就像訪問本地文件一樣。我們爬取網(wǎng)頁的時(shí)候，經(jīng)常需要用到這個庫。

Urllib 庫下的幾種模塊的基本使用

一、urllib.request模塊

1.功能

urllib.request 模塊提供了最基本的構(gòu)造 HTTP （或其他協(xié)議如 FTP）請求的方法，利用它可以模擬瀏覽器的一個請求發(fā)起過程。利用不同的協(xié)議去獲取 URL 信息。它的某些接口能夠處理基礎(chǔ)認(rèn)證（ Basic Authenticaton）、redirections （HTTP 重定向)、 Cookies (瀏覽器 Cookies）等情況。而這些接口是由 handlers 和 openers 對象提供的。

2.常用方法

2.1 urlopen()方法

語法格式：

urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)

參數(shù)說明：url:需要打開的網(wǎng)址； data: Post 提交的數(shù)據(jù), 默認(rèn)為 None ，當(dāng) data 不為 None 時(shí), urlopen() 提交方式為 Post； timeout：設(shè)置網(wǎng)站訪問超時(shí)時(shí)間

用例：

import urllib.request# 等價(jià)于from urllib import request
response = urllib.request.urlopen('https://www.baidu.com')
print("查看 response 響應(yīng)信息類型: ",type(response))
page = response.read()
print(page.decode('utf-8'))

說明: 直接使用 urllib.request 模塊中的 urlopen方法獲取頁面，其中 page 數(shù)據(jù)類型為 bytes 類型，經(jīng)過 decode 解碼轉(zhuǎn)換成 string 類型。通過輸出結(jié)果可以 urlopen 返回對象是HTTPResposne 類型對象。

urlopen 返回一個類文件對象，并提供了如下方法：

read() , readline() , readlines() , fileno() , close() ：這些方法的使用方式與文件對象完全一樣;

info()：返回一個httplib.HTTPMessage對象，表示遠(yuǎn)程服務(wù)器返回的頭信息；可以通過Quick Reference to Http Headers查看 Http Header 列表。

getcode()：返回Http狀態(tài)碼。如果是http請求，200表示請求成功完成;404表示網(wǎng)址未找到；

geturl()：返回獲取頁面的真實(shí) URL。在 urlopen（或 opener 對象）可能帶一個重定向時(shí)，此方法很有幫助。獲取的頁面 URL 不一定跟真實(shí)請求的 URL 相同。

示例：

import urllib.request
response = urllib.request.urlopen('https://python.org/')
print("查看 response 的返回類型：",type(response))
print("查看反應(yīng)地址信息: ",response)
print("查看頭部信息1(http header)：\n",response.info())
print("查看頭部信息2(http header)：\n",response.getheaders())
print("輸出頭部屬性信息：",response.getheader("Server"))
print("查看響應(yīng)狀態(tài)信息1(http status)：\n",response.status)
print("查看響應(yīng)狀態(tài)信息2(http status)：\n",response.getcode())
print("查看響應(yīng) url 地址：\n",response.geturl())
page = response.read()
print("輸出網(wǎng)頁源碼:",page.decode('utf-8'))

2.2 Request()方法

使用request（）來包裝請求，再通過urlopen（）獲取頁面。

語法格式：

urllib.request.Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)

示例：

import urllib.request
url = "https://www.lagou.com/zhaopin/Python/?labelWords=label"
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36',
'Referer': 'https://www.lagou.com/zhaopin/Python/?labelWords=label',
'Connection': 'keep-alive'
}
req = request.Request(url, headers=headers)
page = request.urlopen(req).read()
page = page.decode('utf-8')
print(page)