快捷導(dǎo)航

Python Http發(fā)送請(qǐng)求淺析

更新時(shí)間：2022年06月08日 14:24:00 作者：? AMo? ?

這篇文章主要介紹了Python Http發(fā)送請(qǐng)求淺析，文章主要通過(guò)從requests、aiohttp、httpx三個(gè)接口請(qǐng)求展開(kāi)詳情，需要的朋友可以參考一下文章具體詳細(xì)內(nèi)容

前言

相信很多人使用Python做接口請(qǐng)求（Http客戶(hù)端請(qǐng)求）的時(shí)候，很多人肯定用過(guò)這幾個(gè)：urllib，urllib3，requests.沒(méi)錯(cuò)，反正我常用，而且在我這里出現(xiàn)最多最靚眼的那個(gè)崽是requests, 畢竟普通接口請(qǐng)求，爬蟲(chóng)常用，而且封裝起來(lái)后使用更為簡(jiǎn)單。所以在這篇文章里面，它是我淺析研究三國(guó)鼎立的其中之一。

這篇文章主要淺析這三個(gè)：

requests
aiohttp
httpx

淺析requests

在不借助其他第三方庫(kù)的情況下，requests 只能發(fā)送同步請(qǐng)求。requests 是一個(gè)Python第三方庫(kù)，處理URL資源特別方便，而且相對(duì)于urllib3來(lái)說(shuō)封裝了更多功能，并且使用步驟簡(jiǎn)單。

我們深入一下到requests api源碼來(lái)看一下：

從圖片來(lái)看，其實(shí)可以大概看出requests支持哪些功能然后圈紅的其實(shí)是最常用的一些功能，也就是可以設(shè)置請(qǐng)求方式，請(qǐng)求頭，cookie，過(guò)期時(shí)間，請(qǐng)求接口驗(yàn)證，文件上傳等等功能。

整理了日常大概常用的方，應(yīng)該是下面這幾種格式：

# get 請(qǐng)求
requests.get(url, params)

# post 請(qǐng)求
requests.post(url, data)
# 文件上傳
upload_files = {'file': open('report.xls', 'rb')}
requests.post(url, file=upload_files)  
# 設(shè)置header
headers = {'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit'}
requests.post(url, headers=headers)
# 設(shè)置cookie
cookies = {'token': '12345', 'status': '摸魚(yú)'}
requests.post(url, cookies=cookies)

如果單純請(qǐng)求一個(gè)接口，獲取接口數(shù)據(jù)的話(huà)，上面的完全夠用了，不需要額外的操作。

但是requests有時(shí)候挺多用在爬蟲(chóng)場(chǎng)景下，爬蟲(chóng)有的需要保持登錄信息去爬取其他接口，那么單純的去使用requests.get 或者 requests.post，這都是一次性的請(qǐng)求，是不太滿(mǎn)足需求的。對(duì)于登錄成功，再去請(qǐng)求其他的接口，可能需要之前生成的cookie或者token，這時(shí)候，這些信息就需要進(jìn)行保存。對(duì)于這種情況，可以使用requests.session,它可以自動(dòng)處理cookies，做狀態(tài)保持.

大概的使用步驟應(yīng)該是這樣子：

# 先實(shí)例化一個(gè)對(duì)象
session = requests.session()
# 給 requests.session() 對(duì)象設(shè)置cookie信息，這個(gè)看情況使用，具體情況具體分析啊
cookies_dict = {}
session.cookies = requests.utils.cookiejar_from_dict(cookies_dict)
# 后面用法和直接使用requests一樣了
# get請(qǐng)求
response = session.get(url)
# post請(qǐng)求
response = session.post(url, json=json_data)
result = response.json()
#獲取登陸的所有cookies信息
print(result.cookies.values())

通過(guò)上面這些大概步驟，對(duì)于信息狀態(tài)保持是已經(jīng)足夠了，這時(shí)候再用這些保持的信息去爬取接口是沒(méi)有多大問(wèn)題的（按道理啊，經(jīng)典案例的話(huà)可以去模擬爬取一下淘寶PC端，本文具體的就不介紹了。）

淺析aiohttp

在不借助其他第三方庫(kù)的情況下，aiohttp只能發(fā)送異步請(qǐng)求。

其實(shí)，人都是貪心的，在同步請(qǐng)求足夠完成需求后，那么人就會(huì)去從其他方面去提升，比如同樣的接口，希望能更快的處理返回，減少消耗時(shí)間，不希望阻塞。

那么隨著這種需要，那么異步請(qǐng)求也就出現(xiàn)了。目前支持異步請(qǐng)求的方式有 async/await+asyncio+requests 組合構(gòu)成，也可以使用aiohttp.aiohttp是一個(gè)為Python提供異步HTTP客戶(hù)端、服務(wù)端編程，基于asyncio的異步庫(kù)。aiohttp 同樣是可以設(shè)置請(qǐng)求方式，請(qǐng)求頭，cookie，代理，上傳文件等功能的

大概用代碼來(lái)表示，應(yīng)該是常見(jiàn)這些：

# post 請(qǐng)求
payload = {
        "data": "hello world"
    }
async with aiohttp.ClientSession() as session:
	async with session.post(url, json=payload) as resp:
		print(resp.status)
# get請(qǐng)求
# 創(chuàng)建使用session
async with aiohttp.ClientSession() as session:
	async with session.get(url) as resp:
		print(resp.status)
		res = await resp.text()
		return res

# 上傳文件
files = {'file': open('report.xls', 'rb')}
async with aiohttp.ClientSession() as sess:
	async with sess.post(url, data=files) as resp:
		print(resp.status)
		print(await resp.text())

# 設(shè)置header, cookie
headers = {'User-Agent': 'your agent'}
cookies= {'cookies_are': '摸魚(yú)'}
async with aiohttp.ClientSession(headers=headers, cookies=cookies) as session:
	async with session.get(url) as resp:
		print(resp.status)
		res = await resp.text()
		return res

當(dāng)然異步的請(qǐng)求，多可以是對(duì)接口返回?cái)?shù)據(jù)在其他地方?jīng)]有太強(qiáng)的依賴(lài)，異步的作用更多是用于提高效率，節(jié)省同步等待時(shí)間。

淺析httpx

在不借助其他第三方庫(kù)的情況下，httpx既能發(fā)送同步請(qǐng)求，又能發(fā)送異步請(qǐng)求

httpx是Python新一代的網(wǎng)絡(luò)請(qǐng)求庫(kù)，它包含以下特點(diǎn)：

1.基于Python3的功能齊全的http請(qǐng)求模塊
2.既能發(fā)送同步請(qǐng)求，也能發(fā)送異步請(qǐng)求
3.支持HTTP/1.1和HTTP/2
4.能夠直接向WSGI應(yīng)用程序或者ASGI應(yīng)用程序發(fā)送請(qǐng)求

安裝 httpx需要Python3.6+（使用異步請(qǐng)求需要Python3.8+）

httpx是Python新一代的網(wǎng)絡(luò)請(qǐng)求庫(kù), 功能和requests基本都一致，但是requests在沒(méi)有第三方庫(kù)的支持下只能發(fā)同步請(qǐng)求，但是httpx不僅可以發(fā)同步請(qǐng)求，還可以異步，這個(gè)是比requests要好的。因?yàn)楹蛂equests差不多，那么requests能支持設(shè)置的，那么httpx也同樣可以支持

基本的使用方法：

data = {
    'name': 'autofelix',
    'age': 25
}

# get請(qǐng)求
httpx.get(url,params=data)
# post請(qǐng)求
httpx.post(url, data=data)

# 設(shè)置header,cookie,timeout
headers = {'User-Agent': 'your agent'}
cookies= {'cookies_are': '摸魚(yú)'}
httpx.get(url, headers=headers, cookies=cookies, timeout=10.0)

# 使用client發(fā)送（同步）請(qǐng)求
with httpx.Client() as client:
   response = client.get(url)

異步操作, 使用async/await語(yǔ)句來(lái)進(jìn)行異步操作，使用異步client比使用多線(xiàn)程發(fā)送請(qǐng)求更加高效，更能體現(xiàn)明顯的性能優(yōu)勢(shì)

import asyncio
import httpx

async def main():
    # 異步請(qǐng)求AsyncClient
? ? async with httpx.AsyncClient() as client:
? ? ? ? response = await client.get(url)
? ? ? ? print(response)

if __name__ == '__main__':
    # python3.7+ 支持寫(xiě)法
    # asyncio.run(main())
    # python3.6及以下版本寫(xiě)法
    loop = asyncio.get_event_loop()
    result = loop.run_until_complete(asyncio.gather(main()))
    loop.close()

大體看下，同步請(qǐng)求使用httpx.client(), 異步請(qǐng)求使用httpx.AsyncClient(), 然后其他的一些基本用法都大體相似?？梢哉f(shuō)，如果你對(duì)requests熟練，那么對(duì)于aiohttp以及httpx也是很快就能上手理解的。