欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

python中requests庫安裝與使用詳解

 更新時間：2022年07月07日 08:32:02   作者：米兔-miny  
requests是一個很實用的Python HTTP客戶端庫,爬蟲和測試服務(wù)器響應(yīng)數(shù)據(jù)時經(jīng)常會用到,下面這篇文章主要給大家介紹了關(guān)于python中requests庫安裝與使用的相關(guān)資料,需要的朋友可以參考下

前言

記得我剛學(xué)python-requests庫的時候總會有點暈，于是我做了以下關(guān)于requests庫的知識點整理，方便初學(xué)者可以更好的了解requests庫。如果有補充或錯誤，或者不懂的地方，可以評論區(qū)留言。

1、Requests介紹

Requests是Python一個很實用的HTTP客戶端，完全滿足如今網(wǎng)絡(luò)爬蟲的需求

urllib庫和requests庫功能類似，但requests庫功能更多更實用

2、requests庫的安裝

pip命令安裝（方法一）

  • windows操作系統(tǒng)：pip install requests
  • Mac操作系統(tǒng)：pip3 install requests
  • Linux操作系統(tǒng)：sodo pip install requests

源碼安裝（方法二）

  • 下載 requests源碼 http://mirrors.aliyun.com/pypi/simple/ requests/
  • 下載文件到本地之后，解壓到Python安裝目錄，之后打開解壓文
  • 運行命令行輸入python setup.py install 即可安裝

測試

  • import requests
  • 如果沒提示錯誤，那說明已經(jīng)安裝成功了！

3、requests庫常用的方法

序號

方法

描述

1

requests.request(url)

構(gòu)造一個請求，支持以下各種方法

2

requests.get()

發(fā)送一個Get請求

3

requests.post()

發(fā)送一個Post請求

4

requests.head()

獲取HTML的頭部信息

5

requests.put()

發(fā)送Put請求

6

requests.patch()

提交局部修改的請求

7

requests.delete()

提交刪除請求

最常用的方法為get()和post()分別用于發(fā)送Get請求和Post請求

4、response對象的常用屬性

序號

屬性或方法

描述

1

response.status_code

響應(yīng)狀態(tài)碼

2

response.content

把response對象轉(zhuǎn)換為二進制數(shù)據(jù)

3

response.text

把response對象轉(zhuǎn)換為字符串?dāng)?shù)據(jù)

4

response.encoding

定義response對象的編碼

5

response.cookie

獲取請求后的cookie

6

response.url

獲取請求網(wǎng)址

7

response.json()

內(nèi)置的JSON解碼器

8

Response.headers

以字典對象存儲服務(wù)器響應(yīng)頭，字典鍵不區(qū)分大小寫

5、使用requests發(fā)送get請求

  • 不帶參數(shù)的get請求
    • 案例：爬取百度主頁
  • 帶參數(shù)的get請求
    • 案例：貼吧
  • 獲取JSON數(shù)據(jù)
    • 案例：百度美女圖片
  • 獲取二進制數(shù)據(jù)
    • 案例：下載百度logo

5.1  不帶參數(shù)的get請求

# 不帶參數(shù)的get請求
 
import requests
url='http://www.baidu.com'
resp = requests.get(url)
# 設(shè)置響應(yīng)的經(jīng)編碼格式
resp.encoding='utf-8'
cookie=resp.cookies    # 獲取請求后的cookie信息
headers=resp.headers
print('響應(yīng)狀態(tài)碼：', resp.status_code)
print('請求后的cookie：', cookie)
print('獲取請求的網(wǎng)址：', resp.url)
print('響應(yīng)頭：', headers)
print('響應(yīng)內(nèi)容', resp.text)
----------------------------------以下為輸出結(jié)果----------------------------------
'''
響應(yīng)狀態(tài)碼： 200
請求后的cookie： <RequestsCookieJar[<Cookie BDORZ=27315 for .baidu.com/>]>
獲取請求的網(wǎng)址： http://www.baidu.com/
響應(yīng)頭： {'Cache-Control': 'private, no-cache, no-store, proxy-revalidate, no-transform', 'Connection': 'keep-alive', 'Content-Encoding': 'gzip', 'Content-Type': 'text/html', 'Date': 'Fri, 23 Apr 2021 00:10:35 GMT', 'Last-Modified': 'Mon, 23 Jan 2017 13:28:16 GMT', 'Pragma': 'no-cache', 'Server': 'bfe/1.0.8.18', 'Set-Cookie': 'BDORZ=27315; max-age=86400; domain=.baidu.com; path=/', 'Transfer-Encoding': 'chunked'}
響應(yīng)內(nèi)容 <!DOCTYPE html>
<!--STATUS OK--><html> <head><meta http-equiv=content-type.........
'''

5.2 帶參數(shù)的get請求

5.2.1 查詢參數(shù)params

  • params，數(shù)據(jù)類型為字典
  • 作用：對URL地址中的查詢參數(shù)自動進行編碼拼接
  • 使用示例：resp = requests.get(url=baseurl, params=params, headers=headers)
# 帶參數(shù)的get請求
 
import requests
url = 'https://tieba.baidu.com/f?'
params = {'kw':'大學(xué)吧', 'pn':'3'}
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 6.1; WOW64)'}
# 開始請求
html = requests.get(url=url, params=params, headers=headers).text
print(html)

5.2.2 SSL證書認(rèn)證參數(shù) verify

  • 參數(shù)值：True（默認(rèn)）| False
  • 適用網(wǎng)站：https類型網(wǎng)站但是沒有經(jīng)過 證書認(rèn)證機構(gòu) 認(rèn)證的網(wǎng)站
  • 適用場景：當(dāng)程序中拋出SSLError異常則考慮使用此參數(shù)
  • 使用示例：requests.get(url=url,headers=headers,verify=False)
  • 當(dāng)verify參數(shù)設(shè)置為False時，則不會再對網(wǎng)站進行SSL證書認(rèn)證

5.2.3 設(shè)置超時時間 timeout

我們可以通過timeout屬性設(shè)置超時時間，一旦超過這個時間還沒獲得響應(yīng)內(nèi)容，就會提示錯誤。

import requests
requests.get('http://github.com', timeout=0.001)
 
---------------------以下為輸出結(jié)果（報錯）---------------------
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
requests.exceptions.Timeout: HTTPConnectionPool(host='github.com', port=80): Request timed out. (timeout=0.001)

5.2.4 代理IP參數(shù) proxies

5.2.4.1 免費代理IP

  • 語法格式：proxies = { '協(xié)議':'協(xié)議://IP:端口號'}
  • 示例：
    • 當(dāng)我們抓取的地址為http時，則會選擇proxies中http的代理，反之為https
import requests
 
url = 'http://httpbin.org/get'
headers = {'User-Agent':'Mozilla/5.0'}
# 定義代理，再代理IP網(wǎng)站中查找免費代理IP
proxies = {
    'http':'http://112.85.164.220:9999',
    'https':'https://112.85.164.220:9999'
}
html = requests.get(url=url,proxies=proxies,headers=headers,timeout=5).text
print(html)

5.2.4.1 私密代理和獨享代理

語法格式：proxies = { '協(xié)議':'協(xié)議://用戶名:密碼@IP:端口號'}

示例：

5.3 獲取JSON數(shù)據(jù)

# 獲取json數(shù)據(jù)
 
# 案例：百度獲取宮崎駿動漫圖片
# 滑動頁面，URL沒變化，F(xiàn)12中的文件越來越多，說明這是動態(tài)網(wǎng)頁
# 選擇XHR中的一個，復(fù)制其Request URL,粘貼給url
 
import requests
url='https://image.baidu.com/search/acjson?tn=resultjson_com&logid=10167214135414424439&ipn=rj&ct=201326592&is=&fp=result&queryWord=%E5%AE%AB%E5%B4%8E%E9%AA%8F%E5%8A%A8%E6%BC%AB%E5%9B%BE%E7%89%87&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=&z=&ic=&hd=&latest=&copyright=&word=%E5%AE%AB%E5%B4%8E%E9%AA%8F%E5%8A%A8%E6%BC%AB%E5%9B%BE%E7%89%87&s=&se=&tab=&width=&height=&face=&istype=&qc=&nc=&fr=&expermode=&force=&pn=30&rn=30&gsm=1e&1619134335166='
resp=requests.get(url)
json_data=resp.json()
print(json_data)

5.4 獲取二進制數(shù)據(jù)

一般來說，對于非文本請求，可以以字節(jié)形式訪問響應(yīng)正文。

# 獲取二進制數(shù)據(jù)
 
# 案例：保存百度圖片
import requests
url='https://www.baidu.com/img/bd_logo1.png'
resp=requests.get(url)
# 存儲
with open('logo.png','wb') as file:
    # resp.content：把response對象轉(zhuǎn)換為二進制數(shù)據(jù)
    file.write(resp.content)

6、使用requests發(fā)送post請求

  • 語法結(jié)構(gòu)
    • requests.post(url, data=None, json=None)
  • 參數(shù)說明
    • url：需要爬取的網(wǎng)站的網(wǎng)址
    • data：請求數(shù)據(jù)
    • json：json格式的數(shù)據(jù)
  • 案例：登錄小說樓
    • https://www.xslou.com/login.php
import requests
url='https://www.xslou.com/login.php'
data={'username':'18600605736', 'password':'57365736', 'action':'login'}
resp = requests.post(url,data)
resp.encoding='gb2312'
print('響應(yīng)狀態(tài)碼：', resp.status_code)   # 200
print('響應(yīng)內(nèi)容', resp.text)        # <html>......</html>

7、使用requests的session發(fā)送請求

import requests
url='https://www.xslou.com/login.php'
data={'username':'18600605736', 'password':'57365736', 'action':'login'}
 
# 使用session發(fā)送請求
session = requests.session()
resp=session.post(url,data=data)    # 使用session發(fā)送post請求
resp.encoding='gb2312'
# print( resp.text)        # <html>..<title>登錄成功</title>....</html>

總結(jié)

到此這篇關(guān)于python中requests庫安裝與使用的文章就介紹到這了,更多相關(guān)python requests庫詳解內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

相關(guān)文章

  • python操作數(shù)據(jù)庫獲取結(jié)果之fetchone和fetchall的區(qū)別說明

    python操作數(shù)據(jù)庫獲取結(jié)果之fetchone和fetchall的區(qū)別說明

    這篇文章主要介紹了python操作數(shù)據(jù)庫獲取結(jié)果之fetchone和fetchall的區(qū)別說明，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
    2021-04-04
  • Python常見庫matplotlib學(xué)習(xí)筆記之畫圖中各個模塊的含義及修改方法

    Python常見庫matplotlib學(xué)習(xí)筆記之畫圖中各個模塊的含義及修改方法

    matplotlib是python最著名的繪圖庫,它提供了一整套和matlab相似的命令A(yù)PI,十分適合交互式地進行制圖,下面這篇文章主要給大家介紹了關(guān)于Python常見庫matplotlib學(xué)習(xí)筆記之畫圖中各個模塊的含義及修改方法的相關(guān)資料,需要的朋友可以參考下
    2023-05-05
  • python if not in 多條件判斷代碼

    python if not in 多條件判斷代碼

    學(xué)了一段時間python，發(fā)現(xiàn)有時遇到多條件判斷的時候，覺得使用單純的in的話比較麻煩，需要多個條件，今天又遇到一個，網(wǎng)上搜索了一下，也有同學(xué)和我遇到相同的問題，記錄一下
    2016-09-09
  • 通過Python中的http.server搭建文件上傳下載服務(wù)功能

    通過Python中的http.server搭建文件上傳下載服務(wù)功能

    通過本文我們學(xué)習(xí)了如何使用Python的http.server模塊搭建一個基本的HTTP服務(wù)器,并實現(xiàn)文件下載服務(wù),介紹了如何設(shè)置服務(wù)器端口、自定義文件目錄、定制HTTP響應(yīng)頭以及處理GET請求,感興趣的朋友跟隨小編一起看看吧
    2024-08-08
  • python mysql實現(xiàn)學(xué)生成績管理系統(tǒng)

    python mysql實現(xiàn)學(xué)生成績管理系統(tǒng)

    這篇文章主要為大家詳細(xì)介紹了python mysql實現(xiàn)學(xué)生成績管理系統(tǒng)，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下
    2021-10-10
  • python中requests庫session對象的妙用詳解

    python中requests庫session對象的妙用詳解

    這篇文章主要介紹了python中requests庫session對象的妙用詳解，具有一定參考價值，需要的朋友可以了解下。
    2017-10-10
  • python版opencv攝像頭人臉實時檢測方法

    python版opencv攝像頭人臉實時檢測方法

    今天小編就為大家分享一篇python版opencv攝像頭人臉實時檢測方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
    2018-08-08
  • Python編程快速上手——選擇性拷貝操作案例分析

    Python編程快速上手——選擇性拷貝操作案例分析

    這篇文章主要介紹了Python選擇性拷貝操作,結(jié)合具體實例形式分析了Python文件遍歷、查找、復(fù)制拷貝等相關(guān)操作技巧,需要的朋友可以參考下
    2020-02-02
  • Python采集情感音頻的實現(xiàn)示例

    Python采集情感音頻的實現(xiàn)示例

    本文主要介紹了Python采集情感音頻的實現(xiàn)示例，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2023-04-04
  • python中pivot()函數(shù)基礎(chǔ)知識點

    python中pivot()函數(shù)基礎(chǔ)知識點

    在本篇內(nèi)容里小編給大家分享的是一篇關(guān)于python中pivot()函數(shù)基礎(chǔ)知識點內(nèi)容，對此有興趣的朋友們可以參考學(xué)習(xí)下。
    2021-01-01

最新評論