快捷導(dǎo)航

Python 的七個(gè)HTTP請(qǐng)求庫(kù)對(duì)比小結(jié)

更新時(shí)間：2024年06月10日 10:44:40 作者：wusp1994

本文主要介紹了Python 的七個(gè)HTTP請(qǐng)求庫(kù)對(duì)比小結(jié),文中通過圖表,示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧

Python HTTP請(qǐng)求庫(kù)對(duì)比

庫(kù)名稱	特點(diǎn)	優(yōu)點(diǎn)	缺點(diǎn)
`requests`	簡(jiǎn)單易用的HTTP庫(kù)，基于`urllib3`。	- 語法簡(jiǎn)潔 - 社區(qū)支持強(qiáng)大 - 易于上手和維護(hù)	- 阻塞式調(diào)用，不支持異步操作 - 相比`aiohttp`體積較大
`http.client`	Python標(biāo)準(zhǔn)庫(kù)中的低級(jí)HTTP庫(kù)。	- 無需安裝第三方庫(kù) - 提供底層訪問，可自定義程度高	- API使用相對(duì)復(fù)雜 - 缺少高級(jí)HTTP功能
`aiohttp`	異步的HTTP網(wǎng)絡(luò)通信庫(kù)，支持HTTP/1.1和HTTP/2。	- 支持異步操作，適合高并發(fā) - 支持WebSockets	- 異步編程模型學(xué)習(xí)曲線陡峭 - 較新，社區(qū)支持不如`requests`
`urllib`	Python標(biāo)準(zhǔn)庫(kù)，提供URL處理。	- 無需安裝第三方庫(kù) - 功能全面，包括請(qǐng)求和錯(cuò)誤處理	- 易用性不如`requests`- 不支持異步操作
`httpx`	支持HTTP/1.1和HTTP/2的異步HTTP庫(kù)。	- 支持同步和異步請(qǐng)求 - 支持HTTP/2 - 可擴(kuò)展性好	- 相對(duì)于`requests`，知名度和社區(qū)支持較小
`treq`	基于`Twisted`的異步HTTP客戶端，使用`requests`的API風(fēng)格。	- 異步操作 - 與`requests`類似的API - 適用于`Twisted`用戶	- 依賴于`Twisted`框架 - 社區(qū)支持有限
`requests-toolbelt`	`requests`的官方擴(kuò)展，提供額外功能。	- 增加`requests`沒有的功能 - 流式上傳下載支持	- 作為擴(kuò)展，需要與`requests`結(jié)合使用 - 功能較為特定

在選擇庫(kù)時(shí)，應(yīng)該考慮以下因素：

項(xiàng)目需求：是否需要異步支持，是否處理大量并發(fā)請(qǐng)求。
易用性：API的簡(jiǎn)潔性和學(xué)習(xí)曲線。
社區(qū)和文檔：活躍的社區(qū)和詳盡的文檔可以加快開發(fā)速度。
性能：不同庫(kù)在不同場(chǎng)景下的性能表現(xiàn)。
兼容性：是否支持需要的HTTP特性，如HTTP/2或WebSockets。

實(shí)戰(zhàn)請(qǐng)求豆瓣排行榜

curl ^"https://movie.douban.com/j/chart/top_list_count?type=11&interval_id=100^%^3A90&action=^&#34;  ^
  -H "Accept: */*" ^
  -H "Accept-Language: zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7" ^
  -H "Connection: keep-alive" ^
  -H ^"Cookie: ll=^\^"118282^\^"; bid=p6VTwxlhQxU; _pk_id.100001.4cf6=1960560bd6f348cf.1717555113.; __utmc=30149280; __utmc=223695111; __yadk_uid=vu9yRywnfgofYdkNxlDGN1LGZumZZlP3; _vwo_uuid_v2=DB54A160968C09D586B65593E774AC10A^|93b3f99adf2e8bfe6ce4a84c068e3f82; _pk_ref.100001.4cf6=^%^5B^%^22^%^22^%^2C^%^22^%^22^%^2C1717727676^%^2C^%^22https^%^3A^%^2F^%^2Fwww.heywhale.com^%^2F^%^22^%^5D; push_noty_num=0; push_doumail_num=0; __utmv=30149280.19806; __utma=30149280.912128761.1717555113.1717725025.1717728345.3; __utmz=30149280.1717728345.3.2.utmcsr=google^|utmccn=(organic)^|utmcmd=organic^|utmctr=(not^%^20provided); __utma=223695111.1475293929.1717555113.1717727676.1717728345.4; __utmz=223695111.1717728345.4.2.utmcsr=google^|utmccn=(organic)^|utmcmd=organic^|utmctr=(not^%^20provided)^" ^
  -H ^"Referer: https://movie.douban.com/typerank?type_name=^%^E5^%^89^%^A7^%^E6^%^83^%^85&type=11&interval_id=100:90&action=^&#34;  ^
  -H "Sec-Fetch-Dest: empty" ^
  -H "Sec-Fetch-Mode: cors" ^
  -H "Sec-Fetch-Site: same-origin" ^
  -H "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36" ^
  -H "X-Requested-With: XMLHttpRequest" ^
  -H ^"sec-ch-ua: ^\^"Google Chrome^\^";v=^\^"125^\^", ^\^"Chromium^\^";v=^\^"125^\^", ^\^"Not.A/Brand^\^";v=^\^"24^\^"^" ^
  -H "sec-ch-ua-mobile: ?0" ^
  -H ^"sec-ch-ua-platform: ^\^"Windows^\^"^"

這個(gè)curl命令包含了一個(gè)HTTP GET請(qǐng)求，它發(fā)送到豆瓣電影的某個(gè)API端點(diǎn)，請(qǐng)求某種類型的電影排行數(shù)據(jù)。請(qǐng)求中包含了多個(gè)HTTP頭，例如Accept、Accept-Language、Connection、Cookie、Referer、Sec-Fetch-*、User-Agent、X-Requested-With和sec-ch-ua等。這些頭信息通常用于控制請(qǐng)求的行為，或者提供客戶端環(huán)境的額外信息。

以下是使用幾種不同的Python HTTP請(qǐng)求庫(kù)來模擬這個(gè)curl請(qǐng)求的示例：

1. 使用 requests 庫(kù)

import requests

url = "https://movie.douban.com/j/chart/top_list_count?type=11&interval_id=100:90&action="
headers = {
    "Accept": "*/*",
    "Accept-Language": "zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7",
    "Connection": "keep-alive",
    # Cookie 頭過長(zhǎng)，需要按實(shí)際值填充
    # ...
    "Referer": "https://movie.douban.com/typerank?type_name=劇情&type=11&interval_id=100:90&action=",
    # 其他 headers 按需填充
    # ...
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36"
}

response = requests.get(url, headers=headers)
print(response.text)

2. 使用 aiohttp 庫(kù)（異步）

import aiohttp
import asyncio

async def fetch(url, headers):
    async with aiohttp.ClientSession() as session:
        async with session.get(url, headers=headers) as response:
            return await response.text()

url = "https://movie.douban.com/j/chart/top_list_count?type=11&interval_id=100:90&action="
headers = {...}  # 同上

loop = asyncio.get_event_loop()
html = loop.run_until_complete(fetch(url, headers))
print(html)

3. 使用 http.client（Python 標(biāo)準(zhǔn)庫(kù)）

import http.client
import urllib.parse

conn = http.client.HTTPSConnection("movie.douban.com")

# 將參數(shù)編碼為URL
params = urllib.parse.urlencode({
    'type': '11',
    'interval_id': '100:90',
    'action': ''
})
url = f"/j/chart/top_list_count?{params}"

headers = {
    # 同上
}

conn.request("GET", url, headers=headers)

response = conn.getresponse()
data = response.read()

print(data.decode('utf-8'))

conn.close()

注意事項(xiàng)

由于Cookie和其他一些headers可能非常長(zhǎng)，這里沒有完全展示它們的值。在實(shí)際使用中，你需要將它們完整地填入headers字典中。
在requests示例中，我們使用同步方式發(fā)送請(qǐng)求并打印響應(yīng)內(nèi)容。
在aiohttp示例中，我們使用異步方式發(fā)送請(qǐng)求。aiohttp是處理并發(fā)請(qǐng)求的好選擇，特別是在需要處理大量網(wǎng)絡(luò)I/O操作時(shí)。
在http.client示例中，我們使用了Python標(biāo)準(zhǔn)庫(kù)中的低級(jí)HTTP客戶端。這種方式比較繁瑣，但它不依賴于任何外部庫(kù)。

根據(jù)你的需求和偏好，選擇最適合你的庫(kù)來執(zhí)行HTTP請(qǐng)求。如果你需要處理大量并發(fā)請(qǐng)求，可能會(huì)傾向于使用aiohttp。如果你需要簡(jiǎn)單快速地發(fā)起請(qǐng)求，并且不想引入額外的依賴，可能會(huì)選擇requests。如果你正在編寫一個(gè)需要精細(xì)控制網(wǎng)絡(luò)層面的底層應(yīng)用，可能會(huì)選擇http.client。

到此這篇關(guān)于Python 的七個(gè)HTTP請(qǐng)求庫(kù)對(duì)比小結(jié)的文章就介紹到這了,更多相關(guān)Python HTTP請(qǐng)求庫(kù)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: