urllib中的異常處理

在我們寫爬蟲程序時，若出現(xiàn)url中的錯誤，那么我們就無法爬取我們想要的內(nèi)容，對此，我們引入了urllib中的異常處理。

url的組成部分

URL由6個部分組成：eg：

https://www.baidu.com/s?wd=易烊千璽

• 協(xié)議（http/https）
• 主機（www.baidu.com）
• 端口號（80/443）
• 路徑（s）
• 參數(shù)（wd=易烊千璽）
• 錨點

常見的端口號：

http（80） https（443） mysql(3306) oracle(1521) redis(6379) mongodb(27017)

URLError

通常來說，URLError報錯通常為url地址中主機部分的錯誤：

實例：

url = 'https://www.baidu.com1/'

運行結(jié)果：

urllib.error.URLError: <urlopen error [Errno 11001] getaddrinfo failed

HTTPError

這個異常的通常是url地址中參數(shù)或是路徑的錯誤。

實例：

url = 'https://www.jianshu.com/p/3388cf148dba1'

運行結(jié)果：

urllib.error.HTTPError: HTTP Error 404: Not Found

簡介

• HTTPError類是URLError類的子類
• 導入的包urllib.error.HTTPError/urllib.error.URLError
• http錯誤：http錯誤是針對瀏覽器無法連接到服務(wù)器而增加的出來的錯誤提示，引導并告訴瀏覽者該頁是出了什么問題。
• 通過urllib發(fā)送請求的時候，有可能會發(fā)送失敗，這個時候如果想讓你的代碼更健壯，可以通過try -except進行捕獲異常。

Urllib.error 模塊

urllib.error 模塊為 urllib.request 所引發(fā)的異常定義了異常類，基礎(chǔ)異常類是 URLError。

urllib.error 包含了兩個方法，URLError 和 HTTPError。

URLError 是 OSError 的一個子類，用于處理程序在遇到問題時會引發(fā)此異常（或其派生的異常）。

HTTPError 是 URLError 的一個子類，用于處理特殊 HTTP 錯誤例如作為認證請求的時候，包含的屬性 code 為 HTTP 的狀態(tài)碼， reason 為引發(fā)異常的原因，headers 為導致 HTTPError 的特定 HTTP 請求的 HTTP 響應(yīng)頭。

異常處理

用try except語句塊捕獲并處理異常，其基本語法結(jié)構(gòu)如下所示：

try:可能產(chǎn)生異常的代碼塊

except [ (Error1, Error2, … ) [as e] ]:處理異常的代碼塊1

except [ (Error3, Error4, … ) [as e] ]:處理異常的代碼塊2

except [Exception]:處理其它異常

實例：

原url= ‘https://www.jianshu.com/p/3388cf148dba’

源碼：

import urllib.request
import urllib.error
url = 'https://www.jianshu.com1/p/3388cf148dba'
# url的組成 eg：https://www.baidu.com/s?wd=易烊千璽
# 1.協(xié)議（http/https） 2.主機（www.baidu.com） 3.端口號（80/443） 4.路徑（s） 5.參數(shù)（wd=易烊千璽） 6.錨點
#  常見的端口號
# http（80） https（443） mysql(3306) oracle(1521) redis(6379) mongodb(27017)
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36'
}
try:
    request = urllib.request.Request(url = url,headers = headers)
    response = urllib.request.urlopen(request)
    content = response.read().decode('utf8')
    print(content)
except urllib.error.HTTPError:
    print('HTTP異常，請稍后！')
except urllib.error.URLError:
    print('URL異常，請稍后！')

1.URLError

url = ‘https://www.jianshu.com1/p/3388cf148dba’

運行結(jié)果：

2.HTTPError

url = ‘https://www.jianshu.com/p/3388cf148dba111’

運行結(jié)果：

由于HTTPRError是URLError的子類，所以需先寫httperror的異常處理,否則一律認為是URLError的異常。urllib的異常處理就寫到這啦，希望大家都不會出現(xiàn)異常，更多關(guān)于python爬蟲urllib異常處理的資料請關(guān)注腳本之家其它相關(guān)文章！

最新評論