Python使用grequests(gevent+requests)并發(fā)發(fā)送請(qǐng)求過(guò)程解析
前言
requests是Python發(fā)送接口請(qǐng)求非常好用的一個(gè)三方庫(kù)，由K神編寫，簡(jiǎn)單，方便上手快。但是requests發(fā)送請(qǐng)求是串行的，即阻塞的。發(fā)送完一條請(qǐng)求才能發(fā)送另一條請(qǐng)求。
為了提升測(cè)試效率，一般我們需要并行發(fā)送請(qǐng)求。這里可以使用多線程，或者協(xié)程，gevent或者aiohttp，然而使用起來(lái)，都相對(duì)麻煩。
grequests是K神基于gevent+requests編寫的一個(gè)并發(fā)發(fā)送請(qǐng)求的庫(kù),使用起來(lái)非常簡(jiǎn)單。
安裝方法： pip install gevent grequests
項(xiàng)目地址：https://github.com/spyoungtech/grequests
grequests簡(jiǎn)單使用
首先構(gòu)造一個(gè)請(qǐng)求列表，使用grequests.map()并行發(fā)送，得到一個(gè)響應(yīng)列表。示例如下。
import grequests
req_list = [ # 請(qǐng)求列表
grequests.get('http://httpbin.org/get?a=1&b=2'),
grequests.post('http://httpbin.org/post', data={'a':1,'b':2}),
grequests.put('http://httpbin.org/post', json={'a': 1, 'b': 2}),
]
res_list = grequests.map(req_list) # 并行發(fā)送，等最后一個(gè)運(yùn)行完后返回
print(res_list[0].text) # 打印第一個(gè)請(qǐng)求的響應(yīng)文本
grequests支持get、post、put、delete等requests支持的HTTP請(qǐng)求方法，使用參數(shù)和requests一致，發(fā)送請(qǐng)求非常簡(jiǎn)單。
通過(guò)遍歷res_list可以得到所有請(qǐng)求的返回結(jié)果。
grequests和requests性能對(duì)比
我們可以對(duì)比下requests串行和grequests并行請(qǐng)求100次github.com的時(shí)間，示例如下。
使用requests發(fā)送請(qǐng)求
import requests
import time
start = time.time()
res_list = [requests.get('https://github.com') for i in range(100)]
print(time.time()-start)
實(shí)際耗時(shí)約100s+
使用grequests發(fā)送
import grequests
import time
start = time.time()
req_list = [grequests.get('https://github.com') for i in range(100)]
res_list = grequests.map(req_list)
print(time.time()-start)
實(shí)際耗時(shí)約3.58s
異常處理
在批量發(fā)送請(qǐng)求時(shí)難免遇到某個(gè)請(qǐng)求url無(wú)法訪問(wèn)或超時(shí)等異常，grequests.map()方法還支持自定義異常處理函數(shù)，示例如下。
import grequests
def err_handler(request, exception):
print("請(qǐng)求出錯(cuò)")
req_list = [
grequests.get('http://httpbin.org/delay/1', timeout=0.001), # 超時(shí)異常
grequests.get('http://fakedomain/'), # 該域名不存在
grequests.get('http://httpbin.org/status/500') # 正常返回500的請(qǐng)求
]
res_list = grequests.map(reqs, exception_handler=err_handler)
print(res_list)
運(yùn)行結(jié)果：
請(qǐng)求出錯(cuò) 請(qǐng)求出錯(cuò) [None, None, <Response [500]>]
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要給大家介紹了關(guān)于Python第三方庫(kù)安裝緩慢的解決方法，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2021-02-02
淺談Python數(shù)學(xué)建模之?dāng)?shù)據(jù)導(dǎo)入
數(shù)據(jù)導(dǎo)入是所有數(shù)模編程的第一步，比你想象的更重要。Python 語(yǔ)言中數(shù)據(jù)導(dǎo)入的方法很多。對(duì)于數(shù)學(xué)建模問(wèn)題編程來(lái)說(shuō)，選擇什么方法最好呢？答案是：沒(méi)有最好的，只有最合適的。對(duì)于不同的問(wèn)題，不同的算法，以及所調(diào)用工具包的不同實(shí)現(xiàn)方法，對(duì)于數(shù)據(jù)就會(huì)有不同的要求2021-06-06
這篇文章主要介紹了python文件特定行插入和替換實(shí)例詳解的相關(guān)資料,需要的朋友可以參考下2017-07-07
Python操作PostgreSQL數(shù)據(jù)庫(kù)的基本方法(增刪改查)
PostgreSQL數(shù)據(jù)庫(kù)是最常用的關(guān)系型數(shù)據(jù)庫(kù)之一,最吸引人的一點(diǎn)是它作為開(kāi)源數(shù)據(jù)庫(kù)且具有可拓展性,能夠提供豐富的應(yīng)用,這篇文章主要給大家介紹了關(guān)于Python操作PostgreSQL數(shù)據(jù)庫(kù)的基本方法,文中介紹了連接PostgreSQL數(shù)據(jù)庫(kù),以及增刪改查,需要的朋友可以參考下2023-09-09
這篇文章主要介紹了Python編程之微信推送模板消息功能,結(jié)合實(shí)例形式分析了Python微信推送消息接口的調(diào)用相關(guān)操作技巧,需要的朋友可以參考下2017-08-08
自動(dòng)化測(cè)試時(shí)基于Python常用的幾個(gè)加密算法總結(jié)
這幾天做自動(dòng)化測(cè)試,遇到一個(gè)問(wèn)題,那就是接口的請(qǐng)求的密碼是加密的,產(chǎn)品的要求是不能使用使用其他特殊手段,他給提供加密算法,需要在接口請(qǐng)求的時(shí)候,使用加密算法處理后的數(shù)據(jù)傳參,本文主要是整理了幾個(gè)加密算法,以便后續(xù)測(cè)試使用,需要的朋友可以參考下2023-12-12
這篇文章主要介紹了OpenCV基本操作之圖像輪廓，本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2021-09-09
這篇文章主要介紹了PyQt 圖解Qt Designer工具的使用方法,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-08-08
通過(guò)Python實(shí)現(xiàn)對(duì)SQL Server 數(shù)據(jù)文件大小的監(jiān)控告警功能
這篇文章主要介紹了通過(guò)Python實(shí)現(xiàn)對(duì)SQL Server 數(shù)據(jù)文件大小的監(jiān)控告警,本文給大家分享問(wèn)題報(bào)錯(cuò)信息及解決方案，需要的朋友可以參考下2021-04-04
Python實(shí)現(xiàn)列表轉(zhuǎn)換成字典數(shù)據(jù)結(jié)構(gòu)的方法
這篇文章主要介紹了Python實(shí)現(xiàn)列表轉(zhuǎn)換成字典數(shù)據(jù)結(jié)構(gòu)的方法,結(jié)合實(shí)例形式分析了Python數(shù)值類型轉(zhuǎn)換的相關(guān)技巧,需要的朋友可以參考下2016-03-03