Python中Requests庫的實現(xiàn)示例
一、Requests 庫簡介
Requests 是 Python 生態(tài)中 ?最廣泛使用的 HTTP 客戶端庫,以「人類友好」為核心設計理念,簡化了 HTTP 協(xié)議交互的復雜性。其核心價值包括:
- ?極簡 API:通過
requests.get()
、post()
等函數(shù)實現(xiàn)復雜網(wǎng)絡操作,代碼量比原生urllib
減少 70% 以上。 - ?全協(xié)議支持:覆蓋 GET、POST、PUT、DELETE 等主流 HTTP 方法,適配 RESTful API、WebSocket 等場景。
- ?高效穩(wěn)定:內(nèi)置連接池復用、自動重試、超時控制等機制,支持每秒 1000+ 次高并發(fā)請求。
- ?生態(tài)兼容:無縫對接
BeautifulSoup
(網(wǎng)頁解析)、Pandas
(數(shù)據(jù)處理)、Flask
(服務測試)等工具鏈。
二、安裝與環(huán)境配置
# 基礎安裝(Python 3.7+ 環(huán)境) pip install requests # 國內(nèi)鏡像加速安裝 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests
驗證安裝:
import requests print(requests.__version__) # 輸出示例:2.31.0
三、核心功能與常用函數(shù)
?1. HTTP 基礎請求方法
函數(shù) | 功能描述 | 示例代碼 |
---|---|---|
?**requests.get()** | 發(fā)送 GET 請求(數(shù)據(jù)獲取場景) | response = requests.get("https://api.github.com") |
?**requests.post()** | 發(fā)送 POST 請求(表單提交/API 調(diào)用) | requests.post("https://httpbin.org/post", data={"key": "value"}) |
?**requests.put()** | 發(fā)送 PUT 請求(資源更新) | requests.put("https://api.example.com/data/1", json={"name": "Kimi"}) |
?**requests.delete()** | 發(fā)送 DELETE 請求(資源刪除) | requests.delete("https://api.example.com/data/1") |
?**requests.Session()** | 創(chuàng)建會話對象(保持 Cookies 和 TCP 連接復用,提升性能) | with requests.Session() as s: s.get("https://example.com") |
2. 請求參數(shù)與定制化
?查詢參數(shù)傳遞:
params = {"q": "Python", "page": 2} response = requests.get("https://search.example.com", params=params)
生成 URL:
https://search.example.com?q=Python&page=2
?請求頭定制:
headers = {"User-Agent": "Mozilla/5.0", "Authorization": "Bearer YOUR_TOKEN"} requests.get("https://api.example.com", headers=headers)
模擬瀏覽器行為或身份驗證
?JSON 數(shù)據(jù)提交:
requests.post("https://api.example.com/login", json={"username": "admin", "password": "secret"})
自動設置
Content-Type: application/json
?3. 響應處理與解析
屬性/方法 | 功能描述 | 示例代碼 |
---|---|---|
?**response.status_code** | 獲取 HTTP 狀態(tài)碼(如 200 表示成功,404 資源未找到) | if response.status_code == 200: print("成功") |
?**response.text** | 獲取響應內(nèi)容(自動解碼文本,如 HTML/XML) | print(response.text[:500]) # 截取前500字符 |
?**response.json()** | 解析 JSON 響應為 Python 字典或列表 | data = response.json(); print(data["temperature"]) |
?**response.headers** | 獲取響應頭信息(如服務器類型、緩存策略) | print(response.headers["Content-Type"]) |
?**response.raise_for_status()** | 自動拋出異常(狀態(tài)碼非 200 時觸發(fā)) | try: response.raise_for_status() except requests.HTTPError: ... |
4. 高級功能
?文件上傳與下載:
# 上傳文件 files = {"file": open("report.pdf", "rb")} requests.post("https://api.example.com/upload", files=files)[4,6](@ref) # 流式下載大文件 with requests.get("https://example.com/large_video.mp4", stream=True) as r: with open("video.mp4", "wb") as f: for chunk in r.iter_content(chunk_size=8192): f.write(chunk)
?超時與重試策略:
from requests.adapters import HTTPAdapter from urllib3.util.retry import Retry retry = Retry(total=3, backoff_factor=1, status_forcelist=[500, 502, 503]) adapter = HTTPAdapter(max_retries=retry) session = requests.Session() session.mount("https://", adapter) session.get("https://unstable-api.com", timeout=5) # 超時5秒,重試3次[4,6](@ref)
四、應用場景與實戰(zhàn)案例
?數(shù)據(jù)采集與爬蟲:
- 抓取新聞標題:
requests.get()
+BeautifulSoup
解析 HTML - 動態(tài)內(nèi)容加載:配合
Selenium
處理 JavaScript 渲染頁面
- 抓取新聞標題:
?API 集成開發(fā):
- 調(diào)用天氣接口:
requests.get("https://weather-api.com?city=北京")
- 對接 ChatGPT:發(fā)送 JSON 請求并處理流式響應
- 調(diào)用天氣接口:
?自動化測試:
- 驗證 REST API 功能:斷言響應狀態(tài)碼和數(shù)據(jù)格式
- 壓力測試:多線程并發(fā)發(fā)送請求(需結(jié)合
concurrent.futures
)
?企業(yè)級應用:
- 財務報表批量下載:會話保持 + 定時任務
- 跨系統(tǒng)數(shù)據(jù)同步:OAuth 認證 + POST/PUT 方法
?五、注意事項與優(yōu)化技巧
?安全規(guī)范:
- 敏感數(shù)據(jù)(如 API Key)避免硬編碼,使用環(huán)境變量管理
- 啟用 HTTPS 并驗證證書:
verify=True
(默認)
?性能調(diào)優(yōu):
- 復用
Session
對象減少 TCP 握手開銷 - 設置合理超時:
timeout=10
防止阻塞主線程
- 復用
?異常處理:
try: response = requests.get(url, timeout=5) response.raise_for_status() except requests.Timeout: print("請求超時") except requests.ConnectionError: print("網(wǎng)絡連接失敗")
到此這篇關于Python中Requests庫的實現(xiàn)示例的文章就介紹到這了,更多相關Python Requests庫內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!
- python中requests模塊的使用方法
- python中requests庫session對象的妙用詳解
- python采用requests庫模擬登錄和抓取數(shù)據(jù)的簡單示例
- Python使用requests發(fā)送POST請求實例代碼
- python中requests使用代理proxies方法介紹
- python?如何使用requests下載文件
- Python爬蟲庫requests獲取響應內(nèi)容、響應狀態(tài)碼、響應頭
- Python3使用requests包抓取并保存網(wǎng)頁源碼的方法
- 詳解Python requests 超時和重試的方法
- Python requests timeout的設置
- 解決Python requests 報錯方法集錦
相關文章
淺談Python3實現(xiàn)兩個矩形的交并比(IoU)
今天小編就為大家分享一篇淺談Python3實現(xiàn)兩個矩形的交并比(IoU),具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-01-01python中pytest收集用例規(guī)則與運行指定用例詳解
這篇文章主要介紹了python中pytest收集用例規(guī)則與運行指定用例詳解,天會講解一下pytest是如何收集我們寫好的用例?我們又有哪些方式來運行單個用例或者批量運行用例呢,需要的朋友可以參考下2019-06-06Python-apply(lambda x: )的使用及說明
這篇文章主要介紹了Python-apply(lambda x: )的使用及說明,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2023-02-02python GUI庫圖形界面開發(fā)之PyQt5信號與槽基礎使用方法與實例
這篇文章主要介紹了python GUI庫圖形界面開發(fā)之PyQt5信號與槽基礎使用方法與實例,需要的朋友可以參考下2020-03-03Pytorch GPU內(nèi)存占用很高,但是利用率很低如何解決
這篇文章主要介紹了Pytorch GPU內(nèi)存占用很高,但是利用率很低的原因及解決方法,具有很好的參考價值,希望對大家 有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2021-06-06