快捷導(dǎo)航

Python使用requests庫進行請求重試

更新時間：2023年06月14日 09:02:07 作者：Python 集中營

在進行網(wǎng)絡(luò)請求時，由于網(wǎng)絡(luò)波動、服務(wù)器繁忙等原因，可能會出現(xiàn)請求失敗的情況，為了提高請求的成功率，我們可以使用請求重試機制，本文就來講講如何在 Python 中使用 requests 庫進行請求重試吧

1.安裝 requests 庫

首先需要安裝 requests 庫。可以使用 pip 命令進行安裝：

pip?install?requests

2.設(shè)置重試次數(shù)

requests 庫提供了一個 Retry 類，可以用來設(shè)置重試次數(shù)、重試間隔等參數(shù)。

下面是一個簡單的例子：

import?requests
from?requests.adapters?import?HTTPAdapter
from?requests.packages.urllib3.util.retry?import?Retry

retry_times?=?3??#?設(shè)置重試次數(shù)
retry_backoff_factor?=?0.5??#?設(shè)置重試間隔時間

session?=?requests.Session()
retry?=?Retry(total=retry_times,?backoff_factor=retry_backoff_factor)
adapter?=?HTTPAdapter(max_retries=retry)
session.mount('http://',?adapter)
session.mount('https://',?adapter)

response?=?session.get('https://www.example.com')

上面的代碼中，我們首先創(chuàng)建了一個 requests.Session 對象，然后創(chuàng)建了一個 Retry 對象，并設(shè)置了重試次數(shù)和重試間隔時間。

接著，我們創(chuàng)建了一個 HTTPAdapter 對象，并將其掛載到 session 對象上。

最后，我們使用 session 對象發(fā)送了一個 GET 請求。

3.設(shè)置重試條件

除了設(shè)置重試次數(shù)和重試間隔時間外，我們還可以設(shè)置重試條件。

例如，只有在出現(xiàn)網(wǎng)絡(luò)錯誤或服務(wù)器錯誤時才進行重試。下面是一個例子：

import?requests
from?requests.adapters?import?HTTPAdapter
from?requests.packages.urllib3.util.retry?import?Retry

retry_times?=?3??#?設(shè)置重試次數(shù)
retry_backoff_factor?=?0.5??#?設(shè)置重試間隔時間

session?=?requests.Session()
retry?=?Retry(total=retry_times,?backoff_factor=retry_backoff_factor,?status_forcelist=[500,?502,?503,?504],?method_whitelist=["HEAD",?"GET",?"OPTIONS"])
adapter?=?HTTPAdapter(max_retries=retry)
session.mount('http://',?adapter)
session.mount('https://',?adapter)

response?=?session.get('https://www.example.com')

上面的代碼中，我們在創(chuàng)建 Retry 對象時，設(shè)置了 status_forcelist 和 method_whitelist 參數(shù)。

status_forcelist 參數(shù)指定了在出現(xiàn)哪些 HTTP 狀態(tài)碼時進行重試，method_whitelist 參數(shù)指定了在哪些 HTTP 方法下進行重試。

4.設(shè)置超時時間

在進行網(wǎng)絡(luò)請求時，還需要設(shè)置超時時間。如果請求超時，可以進行重試。

下面是一個例子：

import?requests
from?requests.adapters?import?HTTPAdapter
from?requests.packages.urllib3.util.retry?import?Retry

retry_times?=?3??#?設(shè)置重試次數(shù)
retry_backoff_factor?=?0.5??#?設(shè)置重試間隔時間
timeout?=?5??#?設(shè)置超時時間

session?=?requests.Session()
retry?=?Retry(total=retry_times,?backoff_factor=retry_backoff_factor,?status_forcelist=[500,?502,?503,?504],?method_whitelist=["HEAD",?"GET",?"OPTIONS"])
adapter?=?HTTPAdapter(max_retries=retry)
session.mount('http://',?adapter)
session.mount('https://',?adapter)

response?=?session.get('https://www.example.com',?timeout=timeout)

上面的代碼中，我們在發(fā)送請求時，設(shè)置了 timeout 參數(shù)，指定了超時時間。

如果請求超時，會進行重試。

5.完整代碼示例

下面是一個完整的代碼示例，包括設(shè)置重試次數(shù)、重試條件和超時時間：

import?requests
from?requests.adapters?import?HTTPAdapter
from?requests.packages.urllib3.util.retry?import?Retry

retry_times?=?3??#?設(shè)置重試次數(shù)
retry_backoff_factor?=?0.5??#?設(shè)置重試間隔時間
timeout?=?5??#?設(shè)置超時時間

session?=?requests.Session()
retry?=?Retry(total=retry_times,?backoff_factor=retry_backoff_factor,?status_forcelist=[500,?502,?503,?504],?method_whitelist=["HEAD",?"GET",?"OPTIONS"])
adapter?=?HTTPAdapter(max_retries=retry)
session.mount('http://',?adapter)
session.mount('https://',?adapter)

try:
????response?=?session.get('https://www.example.com',?timeout=timeout)
????response.raise_for_status()
except?requests.exceptions.RequestException?as?e:
????print(e)

上面的代碼中，我們使用 try-except 語句捕獲了請求異常，并打印了異常信息。