今天遇到一個蠻奇怪的問題：當我在控制臺中使用 urllib 沒問題，但是當我在 vscode 中 .py 文件中導入 urllib 使用時會報錯：

AttributeError: module 'urllib' has no attribute 'request'

查了一下資料是 python3 的 urllib 不會自動導入其under層的包，需要手動導入。

import urllib
import urllib.parse
import urllib.request

再次使用即可成功。

urllibe 是 python3 中將中文 urlencode 編碼使用的函數(shù)，urlencode 使用如下：

import urllib
import urllib.parse

urllib.parse.quote(string, safe='/', encoding=None, errors=None)

urllib 將編碼后的字符串轉為中文則使用：

import urllib
import urllib.parse

urllib.parse.unquote(string, encoding='utf-8', errors='replace')

聊到這里就順帶講講 urllibe 的使用吧

urllib 是一個 python 內(nèi)置包，不需要額外安裝即可使用，它包含一下幾個用來處理 url 的模版。

• urllib.request，用來打開和讀取 url，意思就是可以用它來模擬發(fā)送請求，就像在瀏覽器里輸入網(wǎng)址然后敲擊回車一樣，獲取網(wǎng)頁響應內(nèi)容。
• urllib.error，用來處理 urllib.request 引起的異常，保證程序的正常執(zhí)行。
• urllib.parse，用來解析 url，可以對 url 進行拆分、合并等。
• urllib.robotparse，用來解析 robots.txt 文件，判斷網(wǎng)站是否能夠進行爬取。

urllib.request 模塊

urllib.request 模塊定義了以下幾個函數(shù)。

urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)

該函數(shù)主要用于模擬網(wǎng)站請求，返回一個 HTTPResponse 類型的對象。

urlopen 函數(shù)中參數(shù)定義

• url，必選參數(shù)，是一個 str 字符串或者 Request 對象(后面會介紹)。
• data，bytes 類型的可選參數(shù)，如果傳遞的是字典型數(shù)據(jù)，可以用 urllib.parse.urlencode() 進行編碼，返回 str 字符串，再將 str 轉換成 bytes 字節(jié)流。如果傳遞 data 參數(shù)，urlopen 將使用 HTTP POST 方式請求，否則為 HTTP GET 請求。
• timeout，可選參數(shù)，設置超時時間(未設置時使用全局默認超時時間)，以秒為單位計時，如果 urlopen 請求超出了設置時間還未得到響應則拋出異常。
• cafile 和 capath，可選參數(shù)，在 HTTPS 連接請求時指定已認證的 CA 證書以及證書路徑。
• cadefault，一般可忽略該參數(shù)。
• context，ssl.SSLContext 類型的可選參數(shù)，用來指定 SSL 設置。

urlopen 函數(shù)返回類型

urlopen 函數(shù)請求返回一個 HTTPResponse 響應上下文，或者請求異常拋出 URLError 協(xié)議錯誤，一般有如下屬性：

• geturl()，返回檢索的 url，通常用于判定是否進行了重定向。
• info()，返回網(wǎng)頁的頭信息。
• getcode()，返回 HTTPResponse 響應的狀態(tài)碼。

urlopen 函數(shù)的應用實例

# 創(chuàng)建一個 HTTP GET 請求，輸出響應上下文
from urllib.request import urlopen
response = urlopen("http://www.python.org")
print(response.read())

# 創(chuàng)建一個 HTTP POST 請求，輸出響應上下文
from urllib.request import urlopen
from urllib.parse import urlencode
data = {'kw' : 'python'}
data = bytes(urlencode(data), encoding = 'utf-8')
response = urlopen("https://fanyi.baidu.com/sug", data)
print(response.read().decode('unicode_escape'))

urllib.request.Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)

該函數(shù)主要用于構造一個 url，返回一個 urllib.request.Request 對象。

Request 函數(shù)中參數(shù)定義

• url，必選參數(shù)，請求的 url 地址。
• data，bytes 類型的可選參數(shù)。
• headers，字典類型，有些 HTTP 服務器僅允許來自瀏覽器的請求，因此通過 headers 來模擬瀏覽器對 url 的訪問，比如模擬谷歌瀏覽器時使用的 headers：”Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36”?？梢酝ㄟ^調(diào)用 add_header() 來添加 headers 信息。
• origin_req_host，請求方的 host 名稱或者 IP 地址。
• unverifiable，表示這個請求是否無法驗證，默認為 False。比如請求一張圖片，如果沒有權限獲取圖片那它的值就是 true。
• method，是一個字符串，用來指示請求使用的方法，如：GET,POST,PUT 等，默認是 GET 請求。

Request 函數(shù)返回類型

與 urlopen 函數(shù)請求返回一樣，一般返回一個 HTTPResponse 響應上下文。

Request 函數(shù)的應用實例

# 采用 HTTP GET 請求的方法模擬谷歌瀏覽器訪問網(wǎng)站，輸出響應上下文
from urllib import request,parse
url = 'http://www.python.org'
headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'
}
req = request.Request(url, headers = headers, method = 'GET')
response = request.urlopen(req)
print(response.read())

 2 urllib.error 模塊

urllib.error 模塊定義了由 urllib.request 模塊引發(fā)的異常，異常主要包含 URLError 和 HTTPError。

urllib.error.URLError 異常

URLError 類繼承自 OSError 類，是 error 異常模塊的基類，由request模塊產(chǎn)生的異常都可以通過捕獲這個類來處理。URLError 只有一個屬性 reason，即返回錯誤的原因。

應用實例：

# 在請求連接時候捕獲網(wǎng)址錯誤引發(fā)的異常
from urllib import request, error
try: response = request.urlopen('https://www,baidu,com')
except error.URLError as e: print(e.reason)

urllib.error.HTTPError 異常

HTTPError 是 URLError 的子類，專門用來處理 HTTP 請求錯誤，比如認證請求失敗，包含以下三個屬性：

• code：返回 HTTP 響應的狀態(tài)碼，如404頁面不存在等。
• reason：返回錯誤的原因。
• headers：返回 HTTP 響應頭信息。

應用舉例：

# 返回401未授權錯誤
from urllib import request,error
try: response=request.urlopen('http://pythonscraping.com/pages/auth/login.php') print(response.getcode())
except error.HTTPError as e: print('1.錯誤原因：\n%s\n2.狀態(tài)碼：\n%s\n3.響應頭信息：\n%s' %(e.reason, e.code, e.headers))
except error.URLError as e: print(e.reason)

urllib.parse 模塊

urllib.parse 模塊定義了一個處理 url 的標準接口，用來實現(xiàn) url 字符串的抽取、合并以及鏈接轉換。該模塊主要用到的函數(shù)如下。

urllib.parse.urlparse(urlstring, scheme='', allow_fragments=True)

用于實現(xiàn) url 字符串的識別和分段，可以分為六個字符串，分別是 scheme (協(xié)議)，netloc (域名)，path (路徑)，params (參數(shù))，query (查詢條件)和 fragment (錨點)，其結構如下所示：“scheme://netloc/path;parameters?query#fragment”。實際上具體 url 某些字段可能會不存在，比如 “http://www.baidu.com” 只包含了協(xié)議和域名。

urlparse 函數(shù)中參數(shù)定義

• urlstring，待解析的 url 字符串。
• scheme，是默認的協(xié)議，比如 http 或者 https，url 字符串中如果不攜帶相關協(xié)議，可以通過 scheme 來指定，如果 url 中指定了相關協(xié)議則在 url 中生效。
• allow_fragments，是否忽略錨點，設置為 False 即 fragment 部分會被忽略，反之不會忽略。

urlparse 的返回類型

函數(shù)返回的是一個 urllib.parse.ParseResult 對象，獲取解析出來的 url 六個字段。

urlparse 應用舉例

# 解析并輸出 url 中每個字段的字符串
import urllib
url = 'http://www.baidu.com/urllib.parse.html;python?kw=urllib.parse#module-urllib'
result = urllib.parse.urlparse(url)
print(result)
print(result.scheme, result.netloc, result.path, result.params, result.query, result.fragment, sep = '\n')

urllib.parse.urlunparse(parts)

與 urlparse 相反，通過列表或者元祖的形式將分段的字符串組合成一個完整的 url 字符串。

urlunparse 函數(shù)中參數(shù)定義

parts，可以是列表或者元組。

urlunparse 的返回類型

urlunparse 函數(shù)返回一個構造好的 url 字符串。

應用舉例

# 通過 data 列表或元組構造一個 url 并輸出
import urllib
dataList = ['http', 'www.baidu.com', '/urllib.parse.html', 'python', 'kw=urllib.parse', 'modul-urllib'] # 六個字符串都必須填寫，否則會出現(xiàn) ValueError 錯誤，如果某一字符串不存在則填入空字符
dataTuple = ('http', 'www.baidu.com', '/urllib.parse.html', '', 'kw=urllib.parse', 'modul-urllib') # 六個字符串都必須填寫，否則會出現(xiàn) ValueError 錯誤，如果某一字符串不存在則填入空字符
urlList = urllib.parse.urlunparse(dataList)
urlTuple = urllib.parse.urlunparse(dataTuple)
print('1.urlList:%s\n2.urlTuple:%s' % (urlList, urlTuple))

urllib.parse.urlsplit(urlstring, scheme='', allow_fragments=True)

與 urlparse 函數(shù)類似，但它只返回 url 字符串的5個字段，把 params 合并到 path 中。

urlsplit 應用舉例

# 解析并輸出 url 中每個字段的字符串，params 會合并到 path 中。
import urllib
url = 'http://www.baidu.com/urllib.parse.html;python?kw=urllib.parse#modul-urllib'
result = urllib.parse.urlsplit(url)
print(result)
print(result.scheme, result.netloc, result.path, result.query, result.fragment, sep = '\n')

urllib.parse.urlunsplit(parts)

與 urlunparse 函數(shù)類似，它也是將 url 中各部分字段組合完整的 url 字符串的方法，唯一的區(qū)別是列表或元組的長度必須是5個，因為它把 params 省略了。

urlunsplit 應用舉例

# 通過 data 列表或元組構造一個 url 并輸出
import urllib
dataList = ['http', 'www.baidu.com', '/urllib.parse.html;python', 'kw=urllib.parse', 'modul-urllib'] # 五個字符串都必須填寫，否則會出現(xiàn) ValueError 錯誤，如果某一字符串不存在則填入空字符
dataTuple = ('http', 'www.baidu.com', '/urllib.parse.html;python', 'kw=urllib.parse', 'modul-urllib') # 五個字符串都必須填寫，否則會出現(xiàn) ValueError 錯誤，如果某一字符串不存在則填入空字符
urlList = urllib.parse.urlunsplit(dataList)
urlTuple = urllib.parse.urlunsplit(dataTuple)
print('1.urlList:%s\n2.urlTuple:%s' % (urlList, urlTuple))

urllib.parse.quote(string, safe='/', encoding=None, errors=None)

使用 %xx 轉義字符替換字符串中的特殊字符，比如漢字。字母、數(shù)字和‘_.-~'字符不會被替換。

quote 函數(shù)中參數(shù)定義

• string，可以是 str 字符串或 bytes 類型。
• safe，可選參數(shù)，默認是'/'，指明不應該被替換的附加 ASCII 字符。
• encoding 和 errors，可選參數(shù)，用來定義如何處理 non-ASCII 字符。一般默認設置編碼方法為 encoding='utf-8'，errors='strict'，這意味著編碼錯誤將引發(fā) UnicodeError。如果 string 是 bytes 類型，不能設置 encoding 和 errors，否則將引發(fā) TypeError。

quote 函數(shù)的返回類型

quote 函數(shù)返回一個編碼后的字符串。

應用舉例

# 采用 quote 對 url 中的漢字進行編碼，輸出編碼后的結果
import urllib
url = 'http://www.baidu.com/爬蟲'
result = urllib.parse.quote(url)
print(result)
url = 'http://www.baidu.com/+爬蟲'
result = urllib.parse.quote(url, '+') # 更改 safe 參數(shù)
print(result)

urllib.parse.unquote(string, encoding='utf-8', errors='replace')

與 quote 函數(shù)相反，把 %xx 轉義字符替換成字符。

• unquote 函數(shù)的參數(shù)定義
  
• string，必須是 str 字符串。
• encoding 和 errors，可選參數(shù)，定義如何將 %xx 轉義字符解碼為 Unicode 字符。encoding 默認為 ‘utf-8'，errors 默認為 ‘replace'，表示無效的轉義字符將會用占位符替換。

unquote 函數(shù)的返回類型

unquote 函數(shù)返回一個解碼后的字符串。

應用舉例

# 解碼經(jīng)過 quote 函數(shù)處理后的 url，輸出解碼后的結果。
import urllib
url = 'http://www.baidu.com/爬蟲'
result = urllib.parse.quote(url)
print(result)
result = urllib.parse.unquote(url)
print(result)

urllib.parse.urljoin(base, url, allow_fragments=True)

該函數(shù)用來將基本 url 與另一個 url 組合，更新基本 url 字符串。它會使用 url 對基本 url 中缺失的部分進行補充，比如 scheme (協(xié)議)、netloc (域名)和 path (路徑)。即根據(jù) url 字符串中帶有的字段，對基本 url 中沒有的字段進行補充，已存在的字段進行替換。

• urljoin 函數(shù)中參數(shù)定義
• base，是一個基本 url。
• url，將 scheme (協(xié)議)、netloc (域名)或 path (路徑)字段組合進基本 url 的 url。
• allow_fragments，是否忽略錨點，設置為 False 即 fragment 部分會被忽略，反之不會忽略。

urljoin 函數(shù)返回類型

返回組合成功的 url 字符串。

應用舉例

# 基于 url 對 base_url 進行重新組合，并輸出組合結果。
import urllib
base_url = 'http://www.baidu.com'
url = 'https://www.google.com/urllib.parse.html;python?kw=urllib.parse#module-urllib'
result = urllib.parse.urljoin(base_url,url,False)
print(result)

 urllib.parse.urlencode(query, doseq=False, safe='', encoding=None, errors=None, quote_via=quote_plus)

urlencode 函數(shù)可以將字典轉化為 GET 請求中的 query (查詢條件)，或者將字典轉化為 POST 請求中需要上傳的數(shù)據(jù)。

• urlencode 函數(shù)中參數(shù)定義
• query，字典類型。
• doseq，允許字典中一個鍵對應多個值，編碼成 query (查詢條件)。
• safe、encoding 和 errors，這三個參數(shù)由 quote_via 指定。

urlencode 函數(shù)返回類型

urlencode 函數(shù)返回 str 字符串。

應用舉例

# 創(chuàng)建 GET 請求
import urllib
params = {'username':'xxx','password':'123'}
base_url='http://www.baidu.com'
url=base_url + '?' + urllib.parse.urlencode(params)
print(url)
params = {'username':['xxx', 'yyy'], 'password':'123'} # username 鍵對應多個值
base_url='http://www.baidu.com'
url=base_url + '?' + urllib.parse.urlencode(params) # doseq 設置為 False，會解析成亂碼
print(url)
url=base_url + '?' + urllib.parse.urlencode(params, True) # doseq 設置為 True
print(url)

 urllib.robotparse 模塊

rebotparser 模塊提供了一個 RobotFileParser 類，主要用來解析網(wǎng)站上發(fā)布的 robots.txt，然后根據(jù)解析內(nèi)容判斷爬蟲是否有權限來爬取這個網(wǎng)頁。

robots.txt 文件

robots.txt，存放于網(wǎng)站根目錄下，采用 ASCII 編碼的文本文件，記錄此網(wǎng)站中的哪些內(nèi)容是不應被爬蟲獲取的，哪些是可以被爬蟲獲取的。

robots.txt 文件內(nèi)容舉例

User-agent: * Disallow: / Allow: /public/

• User-agent，爬蟲的名稱，將其設置為 * 代表協(xié)議對任何爬蟲有效，如果設置為 Baiduspider 則代表協(xié)議僅對百度爬蟲有效，要是有多條則對多個爬蟲有效，至少需要指定一條。
• Disallow，網(wǎng)頁中不允許抓取的目錄，上述例子中設置的 / 代表不允許抓取所有的頁面。
• Allow，一般和 Disallow 一起使用，用來排除單獨的某些限制，上述例子中設置為 /public/ 表示所有頁面不允許抓取，但可以抓取 public 目錄。

urllib.robotparser.RobotFileParser(url='') 類及其常用方法

• set_url(url)，設置引用 robots.txt 文件的 url，如果在創(chuàng)建 RobotFileParser 對象時傳入了 url，那么就不需要使用這個方法設置 url。
• read()，讀取 robots.txt 文件并將其提供給解析器，不返回任何內(nèi)容。
• parse(lines)，用來解析 robots.txt 某些行的內(nèi)容，并安裝語法規(guī)則來分析內(nèi)容。
• can_fetch(useragent, url)，傳入兩個參數(shù)，用戶代理以及要爬取的網(wǎng)站，返回的內(nèi)容是該用戶代理否可以抓取這個網(wǎng)站，結果為 True 或 False。
  

到此這篇關于python3 中使用urllib問題以及urllib詳解的文章就介紹到這了,更多相關python3使用urllib內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！

最新評論