Python requests請求超時的解決方案

更新時間：2024年12月17日 09:38:03 作者：IT之一小佬

在進行網(wǎng)絡數(shù)據(jù)爬取過程中,網(wǎng)絡請求超時是一個令人頭疼的問題,尤其在Python中,我們常常需要應對各種網(wǎng)絡爬蟲、API調(diào)用或其他網(wǎng)絡操作,而網(wǎng)絡請求超時的原因千奇百怪,在本篇文章中,我們將深入探討Python requests請求超時的解決方案,需要的朋友可以參考下

1、socket

全局設置。

import socket
 
socket.setdefaulttimeout(1)

t：代表經(jīng)過t秒后，如果還未下載成功，自動跳入下一次操作，此次下載失敗。

2、添加timeout

使用timeout 參數(shù)可以設定等待連接的秒數(shù)，如果等待超時，Requests會拋出異常。

示例代碼1：

import requests
 
res = requests.get('https://github.com', timeout=0.01)
print(res)

運行結(jié)果：

示例代碼2：

import requests
 
res = requests.get('https://github.com', timeout=10)
print(res)

運行結(jié)果：

注意：timeout 僅對連接過程有效，與響應體的下載無關(guān)。 timeout 并不是整個下載響應的時間限制，而是如果服務器在 timeout 秒內(nèi)沒有應答，將會引發(fā)一個異常（更精確地說，是在 timeout 秒內(nèi)沒有從基礎套接字上接收到任何字節(jié)的數(shù)據(jù)時)。

3、HTTPAdapter(max_retries=3)重試

示例代碼：

import time
import requests
from requests.adapters import HTTPAdapter
 
 
s = requests.Session()
s.mount('http://', HTTPAdapter(max_retries=3))
s.mount('https://', HTTPAdapter(max_retries=3))
 
print(time.strftime('%Y-%m-%d %H:%M:%S'))
 
try:
    res = s.get('https://github.com', timeout=2)
    print(res)
except requests.exceptions.RequestException as e:
    print(e)
 
print(time.strftime('%Y-%m-%d %H:%M:%S'))

運行結(jié)果：

注意：max_retries 為最大重試次數(shù)，重試3次，加上最初的一次請求，一共是4次，所以上述代碼運行耗時至少是8秒而不是6秒。

4、捕捉異常

示例代碼1：

import requests
 
 
def get_html(url, timeout=5):
    i = 0
    while i < 3:
        try:
            html = requests.get(url, timeout=timeout)
            return html.text
        except requests.exceptions.RequestException as e:
            i += 1
            print(e)
 
 
res = get_html('https://github.com', timeout=0.1)
print(res)

運行結(jié)果：

示例代碼2：【試圖提大timeout的值】

import requests
 
 
def get_html(url, timeout=5):
    i = 0
    while i < 3:
        try:
            html = requests.get(url, timeout=timeout)
            return html.text
        except requests.exceptions.RequestException as e:
            i += 1
            print(e)
 
 
res = get_html('https://github.com', timeout=10)
print(res)

運行結(jié)果：