欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python使用grequests并發(fā)發(fā)送請(qǐng)求的示例

 更新時(shí)間：2020年11月05日 15:50:56   作者：臨淵  
這篇文章主要介紹了Python使用grequests并發(fā)送請(qǐng)求的示例，幫助大家更好的理解和使用python，感興趣的朋友可以了解下

前言

requests是Python發(fā)送接口請(qǐng)求非常好用的一個(gè)三方庫，由K神編寫，簡(jiǎn)單，方便上手快。但是requests發(fā)送請(qǐng)求是串行的，即阻塞的。發(fā)送完一條請(qǐng)求才能發(fā)送另一條請(qǐng)求。
為了提升測(cè)試效率，一般我們需要并行發(fā)送請(qǐng)求。這里可以使用多線程，或者協(xié)程，gevent或者aiohttp，然而使用起來，都相對(duì)麻煩。

grequests是K神基于gevent+requests編寫的一個(gè)并發(fā)發(fā)送請(qǐng)求的庫,使用起來非常簡(jiǎn)單。

安裝方法： pip install gevent grequests
項(xiàng)目地址：https://github.com/spyoungtech/grequests

grequests簡(jiǎn)單使用

首先構(gòu)造一個(gè)請(qǐng)求列表，使用grequests.map()并行發(fā)送，得到一個(gè)響應(yīng)列表。示例如下。

import grequests

req_list = [ # 請(qǐng)求列表
 grequests.get('http://httpbin.org/get?a=1&b=2'),
 grequests.post('http://httpbin.org/post', data={'a':1,'b':2}),
 grequests.put('http://httpbin.org/post', json={'a': 1, 'b': 2}),
]

res_list = grequests.map(req_list) # 并行發(fā)送，等最后一個(gè)運(yùn)行完后返回
print(res_list[0].text) # 打印第一個(gè)請(qǐng)求的響應(yīng)文本

grequests支持get、post、put、delete等requests支持的HTTP請(qǐng)求方法，使用參數(shù)和requests一致，發(fā)送請(qǐng)求非常簡(jiǎn)單。
通過遍歷res_list可以得到所有請(qǐng)求的返回結(jié)果。

grequests和requests性能對(duì)比

我們可以對(duì)比下requests串行和grequests并行請(qǐng)求100次github.com的時(shí)間，示例如下。
使用requests發(fā)送請(qǐng)求

import requests
import time

start = time.time()
res_list = [requests.get('https://github.com') for i in range(100)]
print(time.time()-start)

實(shí)際耗時(shí)約100s+

使用grequests發(fā)送

import grequests
import time

start = time.time()
req_list = [grequests.get('https://github.com') for i in range(100)]
res_list = grequests.map(req_list)
print(time.time()-start)

際耗時(shí)約3.58s

異常處理

在批量發(fā)送請(qǐng)求時(shí)難免遇到某個(gè)請(qǐng)求url無法訪問或超時(shí)等異常，grequests.map()方法還支持自定義異常處理函數(shù)，示例如下。

import grequests

def err_handler(request, exception):
 print("請(qǐng)求出錯(cuò)")

req_list = [
 grequests.get('http://httpbin.org/delay/1', timeout=0.001), # 超時(shí)異常
 grequests.get('http://fakedomain/'), # 該域名不存在
 grequests.get('http://httpbin.org/status/500') # 正常返回500的請(qǐng)求
]

res_list = grequests.map(reqs, exception_handler=err_handler)
print(res_list)

運(yùn)行結(jié)果：

請(qǐng)求出錯(cuò)
請(qǐng)求出錯(cuò)
[None, None, <Response [500]>]

以上就是Python使用grequests并發(fā)發(fā)送請(qǐng)求的示例的詳細(xì)內(nèi)容，更多關(guān)于Python grequests發(fā)送請(qǐng)求的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！

相關(guān)文章

  • Pycharm搭建Django項(xiàng)目詳細(xì)教程(看完這一篇就夠了)

    Pycharm搭建Django項(xiàng)目詳細(xì)教程(看完這一篇就夠了)

    這篇文章主要給大家介紹了關(guān)于Pycharm搭建Django項(xiàng)目的詳細(xì)教程,想要學(xué)習(xí)的小伙伴看完這一篇就夠了,pycharm是一種Python?IDE,帶有一整套可以幫助用戶在使用Python語言開發(fā)時(shí)提高其效率的工具,需要的朋友可以參考下
    2023-11-11
  • python3 json數(shù)據(jù)格式的轉(zhuǎn)換(dumps/loads的使用、dict to str/str to dict、json字符串/字典的相互轉(zhuǎn)換)

    python3 json數(shù)據(jù)格式的轉(zhuǎn)換(dumps/loads的使用、dict to str/str to dict、j

    JSON (JavaScript Object Notation) 是一種輕量級(jí)的數(shù)據(jù)交換格式。它基于ECMAScript的一個(gè)子集。這篇文章主要介紹了python3 json數(shù)據(jù)格式的轉(zhuǎn)換(dumps/loads的使用、dict to str/str to dict、json字符串/字典的相互轉(zhuǎn)換) ,需要的朋友可以參考下
    2019-04-04
  • 跟老齊學(xué)Python之折騰一下目錄

    跟老齊學(xué)Python之折騰一下目錄

    本講只關(guān)注os.path，真所謂“弱水三千，只取一瓢”，為什么這么偏愛它呢？因?yàn)樗颓懊嬉呀?jīng)講過的文件操作進(jìn)行配合，就能夠隨心所欲操作各個(gè)地方的文件了
    2014-10-10
  • Python+OpenCV檢測(cè)燈光亮點(diǎn)的實(shí)現(xiàn)方法

    Python+OpenCV檢測(cè)燈光亮點(diǎn)的實(shí)現(xiàn)方法

    這篇文章主要介紹了Python+OpenCV檢測(cè)燈光亮點(diǎn)的實(shí)現(xiàn)方法，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2020-11-11
  • python sys模塊及常用功能

    python sys模塊及常用功能

    在Python中,sys模塊提供了訪問和使用解釋器的許多功能的方法,包括命令行參數(shù)、環(huán)境變量、路徑管理、標(biāo)準(zhǔn)輸入輸出流等,sys模塊是Python的標(biāo)準(zhǔn)庫的一部分,不需要額外安裝即可使用,本文介紹python sys模塊相關(guān)知識(shí),感興趣的朋友一起看看吧
    2024-09-09
  • python畫圖——實(shí)現(xiàn)在圖上標(biāo)注上具體數(shù)值的方法

    python畫圖——實(shí)現(xiàn)在圖上標(biāo)注上具體數(shù)值的方法

    今天小編就為大家分享一篇python畫圖——實(shí)現(xiàn)在圖上標(biāo)注上具體數(shù)值的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
    2019-07-07
  • 關(guān)于pip安裝opencv-python遇到的問題

    關(guān)于pip安裝opencv-python遇到的問題

    這篇文章主要介紹了關(guān)于pip安裝opencv-python遇到的問題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教
    2023-02-02
  • 如何實(shí)現(xiàn)更換Jupyter Notebook內(nèi)核Python版本

    如何實(shí)現(xiàn)更換Jupyter Notebook內(nèi)核Python版本

    這篇文章主要介紹了如何實(shí)現(xiàn)更換Jupyter Notebook內(nèi)核Python版本，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2020-05-05
  • Python使用xlrd模塊實(shí)現(xiàn)操作Excel讀寫的方法匯總

    Python使用xlrd模塊實(shí)現(xiàn)操作Excel讀寫的方法匯總

    本文介紹Python中使用xlrd、xlwt、xlutils模塊操作Excel文件的方法,xlrd用于讀取Excel文件,但2.0.0版本后不支持.xlsx格式,xlwt用于創(chuàng)建和寫入Excel文件,而xlutils主要用于復(fù)制和處理Excel文件,詳細(xì)介紹了如何打開文件、獲取工作表信息、操作行列數(shù)據(jù)和處理日期格式數(shù)據(jù)
    2024-10-10
  • tensorflow圖像裁剪進(jìn)行數(shù)據(jù)增強(qiáng)操作

    tensorflow圖像裁剪進(jìn)行數(shù)據(jù)增強(qiáng)操作

    這篇文章主要介紹了tensorflow圖像裁剪進(jìn)行數(shù)據(jù)增強(qiáng)操作，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
    2020-06-06

最新評(píng)論