Python中requests庫的概念及使用詳解
一、 基本概念
1、 簡介
requests 模塊是 python 基于 urllib,采用 Apache2 Licensed 開源協(xié)議的 HTTP 庫。它比 urllib 更加方便,可以節(jié)約我們大量的工作,完全滿足 HTTP 測試需求。Requests 的哲學是以 PEP 20 的習語為中心開發(fā)的,所以它比 urllib 更加 Pythoner
2、 獲取
通過 pip install requests
安裝 requests 庫
導包:
import requests
3、 http 協(xié)議
http ,超文本傳輸協(xié)議,是互聯(lián)網上應用最為廣泛的一種網絡協(xié)議。所有的WWW文件都必須遵守這個標準。設計HTTP最初的目的是為了提供一種發(fā)布和接收HTML頁面的方法,HTTP是一種基于"請求與響應"模式的、無狀態(tài)的應用層協(xié)議。HTTP協(xié)議采用URL作為定位網絡資源的的標識符
3.1 URL
統(tǒng)一資源定位符是互聯(lián)網上標準資源地址?;ヂ?lián)網上的每一個文件都有一個唯一的 URL,它包含的信息指出文件的位置以及瀏覽器應該怎么處理它
URL 的一般語法格式為:
protocol://host[:port]/path/[?query]#fragment http://www.itcast.cn/index.html?name=andy&age=18#link
組成 | 說明 |
protocol | 通信協(xié)議,常用:http、https 等 |
host | 主機(域名) |
port | 端口號,可選,省略時候使用方案的默認端口,如:http的默認端口為80 |
path | 路徑,由零或多個 ‘/’ 符號隔開的字符串,一般用來表示主機上的一個目錄或文件地址 |
query | 參數(shù),以鍵值對的形式通過 & 來連接 |
fragment | 片段,# 后面內容常見于鏈接 錨點 |
url是通過HTTP協(xié)議存取資源的的Internet路徑,一個URL對應一個數(shù)據(jù)資源
3.2 常用 http 請求方法
方法 | 說明 |
GET | 請求獲取URL位置的資源 |
HEAD | 請求獲取URL位置資源的響應消息報告,即獲得資源的頭部信息 |
POST | 請求向URL位置的資源后附加新的消息 |
PUT | 請求向URL位置存儲一個資源,覆蓋原URL位置的資源 |
PATCH | 請求局部更新URL位置的資源,即改變該處資源的部分內容 |
DELETE | 請求刪除URL位置存儲的資源 |
GET
,HEAD
是從服務器獲取信息到本地,PUT
,POST
,PATCH
,DELETE
是從本地向服務器提交信息。通過URL和命令管理資源,操作獨立無狀態(tài),網絡通道及服務器成了黑盒子
二、 使用方法
1、 基本語法
方法 | 說明 |
requsts.requst() | 構造一個請求,最基本的方法,是下面方法的支撐 |
requsts.get() | 獲取網頁,對應HTTP中的GET方法 |
requsts.post() | 向網頁提交信息,對應HTTP中的POST方法 |
requsts.head() | 獲取html網頁的頭信息,對應HTTP中的HEAD方法 |
requsts.put() | 向html提交put方法,對應HTTP中的PUT方法 |
requsts.patch() | 向html網頁提交局部請求修改的的請求,對應HTTP中的PATCH方法 |
requsts.delete() | 向html提交刪除請求,對應HTTP中的DELETE方法 |
主要使用 get 和 post 方法
2、 具體使用方法
2.1 get
- 基本語法
resp = requests.get(url="http://www.baidu.com") print(resp)
resp 是一個Response對象,一個包含服務器資源的對象
- 常用參數(shù)
參數(shù) | 類型 | 作用 |
params | 字典 | url為基準的url地址,不包含查詢參數(shù);該方法會自動對params字典編碼,然后和url拼接 |
url | 字符串 | requests 發(fā)起請求的地址 |
headers | 字典 | 請求頭,發(fā)送請求的過程中請求的附加內容攜帶著一些必要的參數(shù) |
cookies | 字典 | 攜帶登錄狀態(tài) |
proxies | 字典 | 用來設置代理 ip 服務器 |
timeout | 整型 | 用于設定超時時間, 單位為秒 |
2.2 post
- 基本語法
word = input("please input a word") url = "https://fanyi.baidu.com/sug" data = { "kw": word, } headers = { 'User-Agent': "Mozilla / 5.0(Windows NT 10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 96.0.4664 .93 Safari / 537.36", } resp = requests.get(url=url, data=data, headers=headers) print(resp.json())
- 常用參數(shù)
參數(shù) | 類型 | 作用 |
data | 字典 | 作為向服務器提供或提交資源時提交,主要用于 post 請求 |
json | 字典 | json格式的數(shù)據(jù), json合適在相關的html |
注意:
- data 和 params 的區(qū)別是: data提交的數(shù)據(jù)并不放在url鏈接里, 而是放在url鏈接對應位置的地方作為數(shù)據(jù)來存儲
- data 和 json 的作用類似,適用方法相同
- get 里面的參數(shù)大部分也適用
2.3 response
屬性 | 說明 |
resp.status_code | http請求的返回狀態(tài),若為200則表示請求成功。 |
resp.raise_for_status() | 該語句在方法內部判斷resp.status_code 是否等于200,如果不等于,則拋出異常 |
resp.text | http響應內容的字符串形式,即返回的頁面內容 |
resp.encoding | 從http header 中猜測的相應內容編碼方式 |
resp.apparent_encoding | 從內容中分析出的響應內容編碼方式(備選編碼方式) |
resp.content | http響應內容的二進制形式 |
resp.json() | 得到對應的 json 格式的數(shù)據(jù),類似于字典 |
2.4 head
- 基本語法注意:
data 和 params 的區(qū)別是: data提交的數(shù)據(jù)并不放在url鏈接里, 而是放在url鏈接對應位置的地方作為數(shù)據(jù)來存儲data 和 json 的作用類似,適用方法相同get 里面的參數(shù)大部分也適用
url = "http://www.baidu.com" headers = { 'User-Agent': "Mozilla / 5.0(Windows NT 10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 96.0.4664 .93 Safari / 537.36", } resp = requests.head(url=url) print(resp.headers)
resp.headers 方法反饋頭部內容,很少網絡流量獲得概要信息
2.5 put
python接口自動化
- put請求的作用:更新資源
其語法和 post 請求的語法類似
put 和 post 區(qū)別:
- 新建一條記錄的話就用post
- POST 方法被用于請求源服務器接受請求中的實體作為請求資源的一個新的從屬物
- 更新一條記錄的話就用put
- PUT方法請求服務器去把請求里的實體存儲在請求URI標識下
到此這篇關于Python中requests庫的概念及使用詳解的文章就介紹到這了,更多相關Python中requests庫內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!
相關文章
基于pytorch實現(xiàn)對圖片進行數(shù)據(jù)增強
圖像數(shù)據(jù)增強是一種在訓練機器學習和深度學習模型時常用的策略,尤其是在計算機視覺領域,具體而言,它通過創(chuàng)建和原始圖像稍有不同的新圖像來擴大訓練集,本文給大家介紹了如何基于pytorch實現(xiàn)對圖片進行數(shù)據(jù)增強,需要的朋友可以參考下2024-01-01Python基于textdistance實現(xiàn)計算文本相似度
textdistance是Python的第三方庫,用于計算文本之間的相似度或距離,本文主要為大家詳細介紹了如何使用textdistance實現(xiàn)計算文本相似度,需要的可以了解下2024-03-03Python實現(xiàn)的用戶登錄系統(tǒng)功能示例
這篇文章主要介紹了Python實現(xiàn)的用戶登錄系統(tǒng)功能,涉及Python流程控制及字符串判斷等相關操作技巧,需要的朋友可以參考下2018-02-02Python實現(xiàn)基于Fasttext的商品評論數(shù)據(jù)分類的操作流程
這篇文章主要介紹了Python實現(xiàn)基于Fasttext的商品評論數(shù)據(jù)分類,今天使用的fasttext更像是一個集成的庫,把向量化和分類一起做掉了,這個對于使用層面來講就更方便了一些,需要的朋友可以參考下2022-06-06opencv-python+yolov3實現(xiàn)目標檢測
因為最近的任務有用到目標檢測,快速地了解了目標檢測這一任務,并且實現(xiàn)了使用opencv進行目標檢測。感興趣的可以了解一下2021-06-06