Python使用grequests(gevent+requests)并發(fā)發(fā)送請求過程解析
前言
requests是Python發(fā)送接口請求非常好用的一個三方庫，由K神編寫，簡單，方便上手快。但是requests發(fā)送請求是串行的，即阻塞的。發(fā)送完一條請求才能發(fā)送另一條請求。
為了提升測試效率，一般我們需要并行發(fā)送請求。這里可以使用多線程，或者協(xié)程，gevent或者aiohttp，然而使用起來，都相對麻煩。
grequests是K神基于gevent+requests編寫的一個并發(fā)發(fā)送請求的庫,使用起來非常簡單。
安裝方法： pip install gevent grequests
項目地址：https://github.com/spyoungtech/grequests
grequests簡單使用
首先構造一個請求列表，使用grequests.map()并行發(fā)送，得到一個響應列表。示例如下。
import grequests
req_list = [ # 請求列表
grequests.get('http://httpbin.org/get?a=1&b=2'),
grequests.post('http://httpbin.org/post', data={'a':1,'b':2}),
grequests.put('http://httpbin.org/post', json={'a': 1, 'b': 2}),
]
res_list = grequests.map(req_list) # 并行發(fā)送，等最后一個運行完后返回
print(res_list[0].text) # 打印第一個請求的響應文本
grequests支持get、post、put、delete等requests支持的HTTP請求方法，使用參數(shù)和requests一致，發(fā)送請求非常簡單。
通過遍歷res_list可以得到所有請求的返回結果。
grequests和requests性能對比
我們可以對比下requests串行和grequests并行請求100次github.com的時間，示例如下。
使用requests發(fā)送請求
import requests
import time
start = time.time()
res_list = [requests.get('https://github.com') for i in range(100)]
print(time.time()-start)
實際耗時約100s+
使用grequests發(fā)送
import grequests
import time
start = time.time()
req_list = [grequests.get('https://github.com') for i in range(100)]
res_list = grequests.map(req_list)
print(time.time()-start)
實際耗時約3.58s
異常處理
在批量發(fā)送請求時難免遇到某個請求url無法訪問或超時等異常，grequests.map()方法還支持自定義異常處理函數(shù)，示例如下。
import grequests
def err_handler(request, exception):
print("請求出錯")
req_list = [
grequests.get('http://httpbin.org/delay/1', timeout=0.001), # 超時異常
grequests.get('http://fakedomain/'), # 該域名不存在
grequests.get('http://httpbin.org/status/500') # 正常返回500的請求
]
res_list = grequests.map(reqs, exception_handler=err_handler)
print(res_list)
運行結果：
請求出錯 請求出錯 [None, None, <Response [500]>]
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。
相關文章
這篇文章主要給大家介紹了關于Python第三方庫安裝緩慢的解決方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2021-02-02
淺談Python數(shù)學建模之數(shù)據(jù)導入
數(shù)據(jù)導入是所有數(shù)模編程的第一步，比你想象的更重要。Python 語言中數(shù)據(jù)導入的方法很多。對于數(shù)學建模問題編程來說，選擇什么方法最好呢？答案是：沒有最好的，只有最合適的。對于不同的問題，不同的算法，以及所調用工具包的不同實現(xiàn)方法，對于數(shù)據(jù)就會有不同的要求2021-06-06
這篇文章主要介紹了python文件特定行插入和替換實例詳解的相關資料,需要的朋友可以參考下2017-07-07
Python操作PostgreSQL數(shù)據(jù)庫的基本方法(增刪改查)
PostgreSQL數(shù)據(jù)庫是最常用的關系型數(shù)據(jù)庫之一,最吸引人的一點是它作為開源數(shù)據(jù)庫且具有可拓展性,能夠提供豐富的應用,這篇文章主要給大家介紹了關于Python操作PostgreSQL數(shù)據(jù)庫的基本方法,文中介紹了連接PostgreSQL數(shù)據(jù)庫,以及增刪改查,需要的朋友可以參考下2023-09-09
這篇文章主要介紹了Python編程之微信推送模板消息功能,結合實例形式分析了Python微信推送消息接口的調用相關操作技巧,需要的朋友可以參考下2017-08-08
這幾天做自動化測試,遇到一個問題,那就是接口的請求的密碼是加密的,產品的要求是不能使用使用其他特殊手段,他給提供加密算法,需要在接口請求的時候,使用加密算法處理后的數(shù)據(jù)傳參,本文主要是整理了幾個加密算法,以便后續(xù)測試使用,需要的朋友可以參考下2023-12-12
這篇文章主要介紹了OpenCV基本操作之圖像輪廓，本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2021-09-09
這篇文章主要介紹了PyQt 圖解Qt Designer工具的使用方法,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-08-08
通過Python實現(xiàn)對SQL Server 數(shù)據(jù)文件大小的監(jiān)控告警功能
這篇文章主要介紹了通過Python實現(xiàn)對SQL Server 數(shù)據(jù)文件大小的監(jiān)控告警,本文給大家分享問題報錯信息及解決方案，需要的朋友可以參考下2021-04-04
Python實現(xiàn)列表轉換成字典數(shù)據(jù)結構的方法
這篇文章主要介紹了Python實現(xiàn)列表轉換成字典數(shù)據(jù)結構的方法,結合實例形式分析了Python數(shù)值類型轉換的相關技巧,需要的朋友可以參考下2016-03-03