Python中requests庫(kù)的基本概念與具體使用方法
一、 基本概念
1、 簡(jiǎn)介
requests 模塊是 python 基于 urllib,采用 Apache2 Licensed 開(kāi)源協(xié)議的 HTTP 庫(kù)。它比 urllib 更加方便,可以節(jié)約我們大量的工作,完全滿足 HTTP 測(cè)試需求。Requests 的哲學(xué)是以 PEP 20 的習(xí)語(yǔ)為中心開(kāi)發(fā)的,所以它比 urllib 更加 Pythoner
2、 獲取
通過(guò) pip install requests
安裝 requests 庫(kù)
導(dǎo)包:
import requests
3、 http 協(xié)議
http ,超文本傳輸協(xié)議,是互聯(lián)網(wǎng)上應(yīng)用最為廣泛的一種網(wǎng)絡(luò)協(xié)議。所有的WWW文件都必須遵守這個(gè)標(biāo)準(zhǔn)。設(shè)計(jì)HTTP最初的目的是為了提供一種發(fā)布和接收HTML頁(yè)面的方法,HTTP是一種基于"請(qǐng)求與響應(yīng)"模式的、無(wú)狀態(tài)的應(yīng)用層協(xié)議。HTTP協(xié)議采用URL作為定位網(wǎng)絡(luò)資源的的標(biāo)識(shí)符
3.1 URL
統(tǒng)一資源定位符是互聯(lián)網(wǎng)上標(biāo)準(zhǔn)資源地址?;ヂ?lián)網(wǎng)上的每一個(gè)文件都有一個(gè)唯一的 URL,它包含的信息指出文件的位置以及瀏覽器應(yīng)該怎么處理它
URL 的一般語(yǔ)法格式為:
protocol://host[:port]/path/[?query]#fragment http://www.itcast.cn/index.html?name=andy&age=18#link
組成 | 說(shuō)明 |
---|---|
protocol | 通信協(xié)議,常用:http、https 等 |
host | 主機(jī)(域名) |
port | 端口號(hào),可選,省略時(shí)候使用方案的默認(rèn)端口,如:http的默認(rèn)端口為80 |
path | 路徑,由零或多個(gè) ‘/’ 符號(hào)隔開(kāi)的字符串,一般用來(lái)表示主機(jī)上的一個(gè)目錄或文件地址 |
query | 參數(shù),以鍵值對(duì)的形式通過(guò) & 來(lái)連接 |
fragment | 片段,# 后面內(nèi)容常見(jiàn)于鏈接 錨點(diǎn) |
url是通過(guò)HTTP協(xié)議存取資源的的Internet路徑,一個(gè)URL對(duì)應(yīng)一個(gè)數(shù)據(jù)資源
3.2 常用 http 請(qǐng)求方法
方法 | 說(shuō)明 |
---|---|
GET | 請(qǐng)求獲取URL位置的資源 |
HEAD | 請(qǐng)求獲取URL位置資源的響應(yīng)消息報(bào)告,即獲得資源的頭部信息 |
POST | 請(qǐng)求向URL位置的資源后附加新的消息 |
PUT | 請(qǐng)求向URL位置存儲(chǔ)一個(gè)資源,覆蓋原URL位置的資源 |
PATCH | 請(qǐng)求局部更新URL位置的資源,即改變?cè)撎庂Y源的部分內(nèi)容 |
DELETE | 請(qǐng)求刪除URL位置存儲(chǔ)的資源 |
GET
,HEAD
是從服務(wù)器獲取信息到本地,PUT
,POST
,PATCH
,DELETE
是從本地向服務(wù)器提交信息。通過(guò)URL和命令管理資源,操作獨(dú)立無(wú)狀態(tài),網(wǎng)絡(luò)通道及服務(wù)器成了黑盒子
二、 使用方法
1、 基本語(yǔ)法
requests 庫(kù)中的方法
方法 | 說(shuō)明 |
---|---|
requsts.requst() | 構(gòu)造一個(gè)請(qǐng)求,最基本的方法,是下面方法的支撐 |
requsts.get() | 獲取網(wǎng)頁(yè),對(duì)應(yīng)HTTP中的GET方法 |
requsts.post() | 向網(wǎng)頁(yè)提交信息,對(duì)應(yīng)HTTP中的POST方法 |
requsts.head() | 獲取html網(wǎng)頁(yè)的頭信息,對(duì)應(yīng)HTTP中的HEAD方法 |
requsts.put() | 向html提交put方法,對(duì)應(yīng)HTTP中的PUT方法 |
requsts.patch() | 向html網(wǎng)頁(yè)提交局部請(qǐng)求修改的的請(qǐng)求,對(duì)應(yīng)HTTP中的PATCH方法 |
requsts.delete() | 向html提交刪除請(qǐng)求,對(duì)應(yīng)HTTP中的DELETE方法 |
主要使用 get 和 post 方法
2、 具體使用方法
2.1 get
2.1.1 基本語(yǔ)法
resp = requests.get(url="http://www.baidu.com") print(resp)
resp 是一個(gè)Response對(duì)象,一個(gè)包含服務(wù)器資源的對(duì)象
2.1.2 常用參數(shù)
參數(shù) | 類(lèi)型 | 作用 |
---|---|---|
params | 字典 | url為基準(zhǔn)的url地址,不包含查詢參數(shù);該方法會(huì)自動(dòng)對(duì)params字典編碼,然后和url拼接 |
url | 字符串 | requests 發(fā)起請(qǐng)求的地址 |
headers | 字典 | 請(qǐng)求頭,發(fā)送請(qǐng)求的過(guò)程中請(qǐng)求的附加內(nèi)容攜帶著一些必要的參數(shù) |
cookies | 字典 | 攜帶登錄狀態(tài) |
proxies | 字典 | 用來(lái)設(shè)置代理 ip 服務(wù)器 |
timeout | 整型 | 用于設(shè)定超時(shí)時(shí)間, 單位為秒 |
2.2 post
2.2.1 基本語(yǔ)法
word = input("please input a word") url = "https://fanyi.baidu.com/sug" data = { "kw": word, } headers = { 'User-Agent': "Mozilla / 5.0(Windows NT 10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 96.0.4664 .93 Safari / 537.36", } resp = requests.get(url=url, data=data, headers=headers) print(resp.json())
2.2.2 常用參數(shù)
參數(shù) | 類(lèi)型 | 作用 |
---|---|---|
data | 字典 | 作為向服務(wù)器提供或提交資源時(shí)提交,主要用于 post 請(qǐng)求 |
json | 字典 | json格式的數(shù)據(jù), json合適在相關(guān)的html |
注意:
- data 和 params 的區(qū)別是: data提交的數(shù)據(jù)并不放在url鏈接里, 而是放在url鏈接對(duì)應(yīng)位置的地方作為數(shù)據(jù)來(lái)存儲(chǔ)
- data 和 json 的作用類(lèi)似,適用方法相同
- get 里面的參數(shù)大部分也適用
2.3 response
屬性 | 說(shuō)明 |
---|---|
resp.status_code | http請(qǐng)求的返回狀態(tài),若為200則表示請(qǐng)求成功。 |
resp.raise_for_status() | 該語(yǔ)句在方法內(nèi)部判斷resp.status_code 是否等于200,如果不等于,則拋出異常 |
resp.text | http響應(yīng)內(nèi)容的字符串形式,即返回的頁(yè)面內(nèi)容 |
resp.encoding | 從http header 中猜測(cè)的相應(yīng)內(nèi)容編碼方式 |
resp.apparent_encoding | 從內(nèi)容中分析出的響應(yīng)內(nèi)容編碼方式(備選編碼方式) |
resp.content | http響應(yīng)內(nèi)容的二進(jìn)制形式 |
resp.json() | 得到對(duì)應(yīng)的 json 格式的數(shù)據(jù),類(lèi)似于字典 |
2.4 head
2.4.1 基本語(yǔ)法
url = "http://www.baidu.com" headers = { 'User-Agent': "Mozilla / 5.0(Windows NT 10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 96.0.4664 .93 Safari / 537.36", } resp = requests.head(url=url) print(resp.headers)
resp.headers 方法反饋頭部?jī)?nèi)容,很少網(wǎng)絡(luò)流量獲得概要信息
2.5 put
python接口自動(dòng)化
- put請(qǐng)求的作用:更新資源
其語(yǔ)法和 post 請(qǐng)求的語(yǔ)法類(lèi)似
put 和 post 區(qū)別:
- 新建一條記錄的話就用post
- POST 方法被用于請(qǐng)求源服務(wù)器接受請(qǐng)求中的實(shí)體作為請(qǐng)求資源的一個(gè)新的從屬物
- 更新一條記錄的話就用put
- PUT方法請(qǐng)求服務(wù)器去把請(qǐng)求里的實(shí)體存儲(chǔ)在請(qǐng)求URI標(biāo)識(shí)下
總結(jié)
到此這篇關(guān)于Python中requests庫(kù)的基本概念與具體使用方法的文章就介紹到這了,更多相關(guān)Python中requests庫(kù)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
詳解Python 實(shí)現(xiàn) ZeroMQ 的三種基本工作模式
ZMQ是一個(gè)簡(jiǎn)單好用的傳輸層,像框架一樣的一個(gè) socket library,他使得 Socket 編程更加簡(jiǎn)單、簡(jiǎn)潔和性能更高。 ,這篇文章主要介紹了Python 實(shí)現(xiàn) ZeroMQ 的三種基本工作模式,需要的朋友可以參考下2020-03-03如何向scrapy中的spider傳遞參數(shù)的幾種方法
這篇文章主要介紹了如何向scrapy中的spider傳遞參數(shù)的幾種方法,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-11-11Python?OpenCV實(shí)現(xiàn)姿態(tài)識(shí)別的詳細(xì)代碼
這篇文章主要介紹了Python?OpenCV實(shí)現(xiàn)姿態(tài)識(shí)別的方法,本文通過(guò)截圖實(shí)例代碼相結(jié)合給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2022-02-02Python常見(jiàn)數(shù)字運(yùn)算操作實(shí)例小結(jié)
這篇文章主要介紹了Python常見(jiàn)數(shù)字運(yùn)算操作,結(jié)合實(shí)例形式總結(jié)分析了Python數(shù)字常見(jiàn)的四則運(yùn)算、整除、取余、開(kāi)平方等相關(guān)操作技巧與注意事項(xiàng),需要的朋友可以參考下2019-03-03python實(shí)點(diǎn)云分割k-means(sklearn)詳解
這篇文章主要為大家詳細(xì)介紹了Python實(shí)點(diǎn)云分割k-means,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2020-05-05深入探究python中Pandas庫(kù)處理缺失數(shù)據(jù)和數(shù)據(jù)聚合
在本篇文章中,我們將深入探討Pandas庫(kù)中兩個(gè)重要的數(shù)據(jù)處理功能:處理缺失數(shù)據(jù)和數(shù)據(jù)聚合,文中有詳細(xì)的代碼示例,對(duì)我們的學(xué)習(xí)或工作有一定的幫助,需要的朋友可以參考下2023-07-07用python寫(xiě)一個(gè)windows下的定時(shí)關(guān)機(jī)腳本(推薦)
由于本人經(jīng)常使用筆記本共享WiFi,但是又不想筆記本開(kāi)機(jī)一夜,每次都是使用dos命令關(guān)機(jī),感覺(jué)好麻煩,然后小編想到用python寫(xiě)一個(gè)定時(shí)關(guān)機(jī)的腳本,具體實(shí)例代碼請(qǐng)參考本文2017-03-03