本節(jié)我們?cè)賮?lái)了解下 Requests 的一些高級(jí)用法，如文件上傳，代理設(shè)置，Cookies 設(shè)置等等。

1. 文件上傳

我們知道 Reqeuests 可以模擬提交一些數(shù)據(jù)，假如有的網(wǎng)站需要我們上傳文件，我們同樣可以利用它來(lái)上傳，實(shí)現(xiàn)非常簡(jiǎn)單，實(shí)例如下：

import requests
files = {'file': open('favicon.ico', 'rb')}
r = requests.post('http://httpbin.org/post', files=files)
print(r.text)

在上面一節(jié)中我們下載保存了一個(gè)文件叫做 favicon.ico，這次我們用它為例來(lái)模擬文件上傳的過(guò)程。需要注意的是，favicon.ico 這個(gè)文件需要和當(dāng)前腳本在同一目錄下。如果有其它文件，當(dāng)然也可以使用其它文件來(lái)上傳，更改下名稱即可。

運(yùn)行結(jié)果如下：

{
 "args": {}, 
 "data": "", 
 "files": {
  "file": "data:application/octet-stream;base64,AAAAAA...="
 }, 
 "form": {}, 
 "headers": {
  "Accept": "*/*", 
  "Accept-Encoding": "gzip, deflate", 
  "Content-Length": "6665", 
  "Content-Type": "multipart/form-data; boundary=809f80b1a2974132b133ade1a8e8e058", 
  "Host": "httpbin.org", 
  "User-Agent": "python-requests/2.10.0"
 }, 
 "json": null, 
 "origin": "60.207.237.16", 
 "url": "http://httpbin.org/post"
}

以上部分內(nèi)容省略，這個(gè)網(wǎng)站會(huì)返回一個(gè) Response，里面包含 files 這個(gè)字段，而 form 是空的，這證明文件上傳部分會(huì)單獨(dú)有一個(gè) files 字段來(lái)標(biāo)識(shí)。

2. Cookies

在前面我們使用了 Urllib 處理過(guò) Cookies，寫法比較復(fù)雜，而有了 Requests，獲取和設(shè)置 Cookies 只需要一步即可完成。

我們先用一個(gè)實(shí)例感受一下獲取 Cookies 的過(guò)程：

import requests
r = requests.get('https://www.baidu.com')
print(r.cookies)
for key, value in r.cookies.items():
  print(key + '=' + value)

運(yùn)行結(jié)果如下：

‘'‘

<RequestsCookieJar[<Cookie BDORZ=27315 for .baidu.com/>]>

BDORZ=27315

'‘'

首先我們調(diào)用了 cookies 屬性即可成功得到了 Cookies，可以發(fā)現(xiàn)它是一個(gè) RequestCookieJar 類型，然后我們用 items() 方法將其轉(zhuǎn)化為元組組成的列表，遍歷輸出每一個(gè) Cookie 的名和值，實(shí)現(xiàn) Cookies 的遍歷解析。

當(dāng)然，我們也可以直接用 Cookies 來(lái)維持登錄狀態(tài)。

比如我們以知乎為例，直接利用 Cookies 來(lái)維持登錄狀態(tài)。

首先登錄知乎，將 Headers 中的 Cookies 復(fù)制下來(lái)，如圖 3-6 所示：

圖 3-6 Cookies

這里可以替換成你自己的 Cookies，將其設(shè)置到 Headers 里面，發(fā)送 Request，示例如下：

import requests

headers = {
  'Cookie': 'q_c1=31653b264a074fc9a57816d1ea93ed8b|1474273938000|1474273938000; d_c0="AGDAs254kAqPTr6NW1U3XTLFzKhMPQ6H_nc=|1474273938"; __utmv=51854390.100-1|2=registration_date=20130902=1^3=entry_date=20130902=1;a_t="2.0AACAfbwdAAAXAAAAso0QWAAAgH28HQAAAGDAs254kAoXAAAAYQJVTQ4FCVgA360us8BAklzLYNEHUd6kmHtRQX5a6hiZxKCynnycerLQ3gIkoJLOCQ==";z_c0=Mi4wQUFDQWZid2RBQUFBWU1DemJuaVFDaGNBQUFCaEFsVk5EZ1VKV0FEZnJTNnp3RUNTWE10ZzBRZFIzcVNZZTFGQmZn|1474887858|64b4d4234a21de774c42c837fe0b672fdb5763b0',
  'Host': 'www.zhihu.com',
  'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36',
}
r = requests.get('https://www.zhihu.com', headers=headers)
print(r.text)

發(fā)現(xiàn)結(jié)果中包含了登錄后的結(jié)果，如圖 3-7 所示：

圖 3-7 運(yùn)行結(jié)果

證明登錄成功。

當(dāng)然也可以通過(guò) cookies 參數(shù)來(lái)設(shè)置，不過(guò)這樣就需要構(gòu)造 RequestsCookieJar 對(duì)象，而且需要分割一下 Cookies ，相對(duì)繁瑣，不過(guò)效果是相同的，實(shí)例如下：

import requests

cookies = 'q_c1=31653b264a074fc9a57816d1ea93ed8b|1474273938000|1474273938000; d_c0="AGDAs254kAqPTr6NW1U3XTLFzKhMPQ6H_nc=|1474273938"; __utmv=51854390.100-1|2=registration_date=20130902=1^3=entry_date=20130902=1;a_t="2.0AACAfbwdAAAXAAAAso0QWAAAgH28HQAAAGDAs254kAoXAAAAYQJVTQ4FCVgA360us8BAklzLYNEHUd6kmHtRQX5a6hiZxKCynnycerLQ3gIkoJLOCQ==";z_c0=Mi4wQUFDQWZid2RBQUFBWU1DemJuaVFDaGNBQUFCaEFsVk5EZ1VKV0FEZnJTNnp3RUNTWE10ZzBRZFIzcVNZZTFGQmZn|1474887858|64b4d4234a21de774c42c837fe0b672fdb5763b0'
jar = requests.cookies.RequestsCookieJar()
headers = {
  'Host': 'www.zhihu.com',
  'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36'
}
for cookie in cookies.split(';'):
  key, value = cookie.split('=', 1)
  jar.set(key, value)
r = requests.get('http://www.zhihu.com', cookies=jar, headers=headers)
print(r.text)

上面我們首先新建了一個(gè) RequestCookieJar 對(duì)象，然后將復(fù)制下來(lái)的 Cookies 利用 split() 方法分割，利用 set() 方法設(shè)置好每一個(gè) Cookie 的 key 和 value，然后通過(guò)調(diào)用 Requests 的 get() 方法并傳遞給 cookies 參數(shù)即可，當(dāng)然由于知乎本身的限制， headers 參數(shù)也不能少，只不過(guò)不需要在原來(lái)的 headers 參數(shù)里面設(shè)置 Cookie 字段了。

測(cè)試后，發(fā)現(xiàn)同樣可以正常登錄知乎。

3. 會(huì)話維持

在 Requests 中，我們?nèi)绻苯永?get() 或 post() 等方法的確可以做到模擬網(wǎng)頁(yè)的請(qǐng)求。但是這實(shí)際上是相當(dāng)于不同的會(huì)話，即不同的 Session，也就是說(shuō)相當(dāng)于你用了兩個(gè)瀏覽器打開了不同的頁(yè)面。

設(shè)想這樣一個(gè)場(chǎng)景，我們第一個(gè)請(qǐng)求利用了 post() 方法登錄了某個(gè)網(wǎng)站，第二次想獲取成功登錄后的自己的個(gè)人信息，你又用了一次 get() 方法去請(qǐng)求個(gè)人信息頁(yè)面。實(shí)際上，這相當(dāng)于打開了兩個(gè)瀏覽器，是兩個(gè)完全不相關(guān)的會(huì)話，能成功獲取個(gè)人信息嗎？那當(dāng)然不能。

有小伙伴可能就說(shuō)了，我在兩次請(qǐng)求的時(shí)候都設(shè)置好一樣的 Cookies 不就行了？可以，但這樣做起來(lái)還是顯得很繁瑣，我們還有更簡(jiǎn)單的解決方法。

其實(shí)解決這個(gè)問(wèn)題的主要方法就是維持同一個(gè)會(huì)話，也就是相當(dāng)于打開一個(gè)新的瀏覽器選項(xiàng)卡而不是新開一個(gè)瀏覽器。但是我又不想每次設(shè)置 Cookies，那該怎么辦？這時(shí)候就有了新的利器 Session對(duì)象。

利用它，我們可以方便地維護(hù)一個(gè)會(huì)話，而且不用擔(dān)心 Cookies 的問(wèn)題，它會(huì)幫我們自動(dòng)處理好。

下面用一個(gè)實(shí)例來(lái)感受一下：

import requests

requests.get('http://httpbin.org/cookies/set/number/123456789')
r = requests.get('http://httpbin.org/cookies')
print(r.text)

在實(shí)例中我們請(qǐng)求了一個(gè)測(cè)試網(wǎng)址： http://httpbin.org/cookies/se... ，請(qǐng)求這個(gè)網(wǎng)址我們可以設(shè)置一個(gè) Cookie，名稱叫做 number，內(nèi)容是 123456789，隨后又請(qǐng)求了 http://httpbin.org/cookies ，此網(wǎng)址可以獲取當(dāng)前的 Cookies。

這樣能成功獲取到設(shè)置的 Cookies 嗎？試試看。

運(yùn)行結(jié)果如下：

{
 "cookies": {}
}

并不行。我們?cè)儆?Session 試試看：

import requests

s = requests.Session()
s.get('http://httpbin.org/cookies/set/number/123456789')
r = s.get('http://httpbin.org/cookies')
print(r.text)

看下運(yùn)行結(jié)果：

{
 "cookies": {
  "number": "123456789"
 }
}

成功獲取！這下能體會(huì)到同一個(gè)會(huì)話和不同會(huì)話的區(qū)別了吧？

所以，利用 Session 我們可以做到模擬同一個(gè)會(huì)話，而且不用擔(dān)心 Cookies 的問(wèn)題，通常用于模擬登錄成功之后再進(jìn)行下一步的操作。

Session 在平常用到的非常廣泛，可以用于模擬在一個(gè)瀏覽器中打開同一站點(diǎn)的不同頁(yè)面，在后文會(huì)有專門的章節(jié)來(lái)講解這部分內(nèi)容。

4. SSL證書驗(yàn)證

Requests 提供了證書驗(yàn)證的功能，當(dāng)發(fā)送 HTTP 請(qǐng)求的時(shí)候，它會(huì)檢查 SSL 證書，我們可以使用 verify 這個(gè)參數(shù)來(lái)控制是否檢查此證書，其實(shí)如果不加的話默認(rèn)是 True，會(huì)自動(dòng)驗(yàn)證。

在前面我們提到過(guò) 12306 的證書實(shí)際上是不被官方認(rèn)可的，會(huì)出現(xiàn)證書驗(yàn)證錯(cuò)誤的結(jié)果，我們現(xiàn)在訪問(wèn)它都可以看到一個(gè)證書問(wèn)題的頁(yè)面，如圖 3-8 所示：

圖 3-8 錯(cuò)誤頁(yè)面

現(xiàn)在我們用 Requests 來(lái)測(cè)試一下：

import requests
response = requests.get('https://www.12306.cn')
print(response.status_code)

運(yùn)行結(jié)果如下：

requests.exceptions.SSLError: ("bad handshake: Error([('SSL routines', 'tls_process_server_certificate', 'certificate verify failed')],)",)

提示一個(gè)錯(cuò)誤，叫做 SSLError，證書驗(yàn)證錯(cuò)誤。所以如果我們請(qǐng)求一個(gè) HTTPS 站點(diǎn)，但是證書驗(yàn)證錯(cuò)誤的頁(yè)面時(shí)，就會(huì)報(bào)這樣的錯(cuò)誤，那么如何避免這個(gè)錯(cuò)誤呢？很簡(jiǎn)單，把 verify 這個(gè)參數(shù)設(shè)置為 False 即可。

改成如下代碼：

import requests
response = requests.get('https://www.12306.cn', verify=False)
print(response.status_code)

這樣，就會(huì)打印出請(qǐng)求成功的狀態(tài)碼。

/usr/local/lib/python3.6/site-packages/urllib3/connectionpool.py:852: InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnings
 InsecureRequestWarning)
200

不過(guò)發(fā)現(xiàn)報(bào)了一個(gè)警告，它提示建議讓我們給它指定證書。

我們可以通過(guò)設(shè)置忽略警告的方式來(lái)屏蔽這個(gè)警告：

import requests
from requests.packages import urllib3
urllib3.disable_warnings()
response = requests.get('https://www.12306.cn', verify=False)
print(response.status_code)

或者通過(guò)捕獲警告到日志的方式忽略警告：

import logging
import requests
logging.captureWarnings(True)
response = requests.get('https://www.12306.cn', verify=False)
print(response.status_code)

當(dāng)然我們也可以指定一個(gè)本地證書用作客戶端證書，可以是單個(gè)文件（包含密鑰和證書）或一個(gè)包含兩個(gè)文件路徑的元組。

import requests
response = requests.get('https://www.12306.cn', cert=('/path/server.crt', '/path/key'))
print(response.status_code)

當(dāng)然上面代碼是實(shí)例，我們需要有 crt 和 key 文件，指定它們的路徑。注意本地私有證書的 key 必須要是解密狀態(tài)，加密狀態(tài)的 key 是不支持的。

5. 代理設(shè)置

對(duì)于某些網(wǎng)站，在測(cè)試的時(shí)候請(qǐng)求幾次，能正常獲取內(nèi)容。但是一旦開始大規(guī)模爬取，對(duì)于大規(guī)模且頻繁的請(qǐng)求，網(wǎng)站可能會(huì)直接登錄驗(yàn)證，驗(yàn)證碼，甚至直接把IP給封禁掉。

那么為了防止這種情況的發(fā)生，我們就需要設(shè)置代理來(lái)解決這個(gè)問(wèn)題，在 Requests 中需要用到 proxies 這個(gè)參數(shù)。

可以用這樣的方式設(shè)置：

import requests
proxies = {
 'http': 'http://10.10.1.10:3128',
 'https': 'http://10.10.1.10:1080',
}
requests.get('https://www.taobao.com', proxies=proxies)

當(dāng)然直接運(yùn)行這個(gè)實(shí)例可能不行，因?yàn)檫@個(gè)代理可能是無(wú)效的，請(qǐng)換成自己的有效代理試驗(yàn)一下。

若代理需要使用 HTTP Basic Auth，可以使用類似 http://user :password@host:port 這樣的語(yǔ)法來(lái)設(shè)置代理。

實(shí)例如下：

import requests
proxies = {
  'https': 'http://user:password@10.10.1.10:3128/',
}
requests.get('https://www.taobao.com', proxies=proxies)

除了基本的 HTTP 代理，Requests 還支持 SOCKS 協(xié)議的代理。

首先需要安裝 Socks 這個(gè)庫(kù)，命令如下：

pip3 install "requests[socks]"

然后就可以使用 SOCKS 協(xié)議代理了，實(shí)例如下：

import requests
proxies = {
  'http': 'socks5://user:password@host:port',
  'https': 'socks5://user:password@host:port'
}
requests.get('https://www.taobao.com', proxies=proxies)

6. 超時(shí)設(shè)置

在本機(jī)網(wǎng)絡(luò)狀況不好或者服務(wù)器網(wǎng)絡(luò)響應(yīng)太慢甚至無(wú)響應(yīng)時(shí)，我們可能會(huì)等待特別久的時(shí)間才可能會(huì)收到一個(gè)響應(yīng)，甚至到最后收不到響應(yīng)而報(bào)錯(cuò)。為了防止服務(wù)器不能及時(shí)響應(yīng)，我們應(yīng)該設(shè)置一個(gè)超時(shí)時(shí)間，即超過(guò)了這個(gè)時(shí)間還沒(méi)有得到響應(yīng)，那就報(bào)錯(cuò)。

設(shè)置超時(shí)時(shí)間需要用到 timeout 參數(shù)。這個(gè)時(shí)間的計(jì)算是發(fā)出 Request 到服務(wù)器返回 Response 的時(shí)間。

下面用一個(gè)實(shí)例來(lái)感受一下：

import requests
r = requests.get('https://www.taobao.com', timeout=1)
print(r.status_code)

通過(guò)這樣的方式，我們可以將超時(shí)時(shí)間設(shè)置為 1 秒，如果 1 秒內(nèi)沒(méi)有響應(yīng)，那就拋出異常。

實(shí)際上請(qǐng)求分為兩個(gè)階段，即 connect（連接）和 read（讀?。?。

上面的設(shè)置 timeout 值將會(huì)用作 connect 和 read 二者的 timeout 總和。

如果要分別指定，就可以傳入一個(gè)元組：

r = requests.get('https://www.taobao.com', timeout=(5, 11))

如果想永久等待，那么我們可以直接將 timeout 設(shè)置為 None，或者不設(shè)置直接留空，因?yàn)槟J(rèn)是 None。這樣的話，如果服務(wù)器還在運(yùn)行，但是響應(yīng)特別慢，那就慢慢等吧，它永遠(yuǎn)不會(huì)返回超時(shí)錯(cuò)誤的。

用法如下：

r = requests.get('https://www.taobao.com', timeout=None)

或直接不加參數(shù)：

r = requests.get('https://www.taobao.com')

7. 身份認(rèn)證

在訪問(wèn)網(wǎng)站時(shí)，我們可能會(huì)遇到這樣的認(rèn)證頁(yè)面，如圖 3-9 所示：

圖 3-9 認(rèn)證頁(yè)面

如果遇到這樣的網(wǎng)站驗(yàn)證，可以使用 Requests 自帶的身份認(rèn)證功能，實(shí)例如下：

import requests
from requests.auth import HTTPBasicAuth
r = requests.get('http://localhost:5000', auth=HTTPBasicAuth('username', 'password'))
print(r.status_code)

如果用戶名和密碼正確的話，請(qǐng)求時(shí)就會(huì)自動(dòng)認(rèn)證成功，會(huì)返回 200 狀態(tài)碼，如果認(rèn)證失敗，則會(huì)返回 401 狀態(tài)碼。

當(dāng)然如果參數(shù)都傳一個(gè) HTTPBasicAuth 類，就顯得有點(diǎn)繁瑣了，所以 Requests 提供了一個(gè)更簡(jiǎn)單的寫法，可以直接傳一個(gè)元組，它會(huì)默認(rèn)使用 HTTPBasicAuth 這個(gè)類來(lái)認(rèn)證。

所以上面的代碼可以直接簡(jiǎn)寫如下：

import requests
r = requests.get('http://localhost:5000', auth=('username', 'password'))
print(r.status_code)

運(yùn)行效果和上面的是一樣的。

Requests 還提供了其他的認(rèn)證方式，如 OAuth 認(rèn)證，不過(guò)需要安裝 oauth 包，命令如下：

pip3 install requests_oauthlib

使用 OAuth1 認(rèn)證的方法如下：

import requests
from requests_oauthlib import OAuth1
url = 'https://api.twitter.com/1.1/account/verify_credentials.json'
auth = OAuth1('YOUR_APP_KEY', 'YOUR_APP_SECRET',
       'USER_OAUTH_TOKEN', 'USER_OAUTH_TOKEN_SECRET')
requests.get(url, auth=auth)

更多詳細(xì)的功能就可以參考 requests_oauthlib 的官方文檔： https://requests-oauthlib.rea... ，在此就不再贅述了。

8. Prepared Request

在前面介紹 Urllib 時(shí)我們可以將 Request 表示為一個(gè)數(shù)據(jù)結(jié)構(gòu)，Request 的各個(gè)參數(shù)都可以通過(guò)一個(gè) Request 對(duì)象來(lái)表示，在 Requests 里面同樣可以做到，這個(gè)數(shù)據(jù)結(jié)構(gòu)就叫 Prepared Request。

我們用一個(gè)實(shí)例感受一下：

from requests import Request, Session

url = 'http://httpbin.org/post'
data = {
  'name': 'germey'
}
headers = {
  'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36'
}
s = Session()
req = Request('POST', url, data=data, headers=headers)
prepped = s.prepare_request(req)
r = s.send(prepped)
print(r.text)

在這里我們引入了 Request，然后用 url、data、headers 參數(shù)構(gòu)造了一個(gè) Request 對(duì)象，這時(shí)我們需要再調(diào)用 Session 的 prepare_request() 方法將其轉(zhuǎn)換為一個(gè) Prepared Request 對(duì)象，然后調(diào)用 send() 方法發(fā)送即可，運(yùn)行結(jié)果如下：

{
 "args": {}, 
 "data": "", 
 "files": {}, 
 "form": {
  "name": "germey"
 }, 
 "headers": {
  "Accept": "*/*", 
  "Accept-Encoding": "gzip, deflate", 
  "Connection": "close", 
  "Content-Length": "11", 
  "Content-Type": "application/x-www-form-urlencoded", 
  "Host": "httpbin.org", 
  "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36"
 }, 
 "json": null, 
 "origin": "182.32.203.166", 
 "url": "http://httpbin.org/post"
}

可以看到我們達(dá)到了同樣的 POST 請(qǐng)求效果。

有了 Request 這個(gè)對(duì)象，我們就可以將一個(gè)個(gè)請(qǐng)求當(dāng)做一個(gè)獨(dú)立的對(duì)象來(lái)看待，這樣在進(jìn)行隊(duì)列調(diào)度的時(shí)候會(huì)非常方便，后面我們會(huì)有一節(jié)使用它來(lái)構(gòu)造一個(gè) Request 隊(duì)列。

9. 結(jié)語(yǔ)

本節(jié)講解了 Requests 的一些高級(jí)用法，這些用法在后面實(shí)戰(zhàn)部分會(huì)經(jīng)常用到，需要熟練掌握。

更多的用法可以參考 Requests 的官方文檔： http://docs.python-requests.org/ 。

總結(jié)

以上所述是小編給大家介紹的Python3網(wǎng)絡(luò)爬蟲中的requests高級(jí)用法詳解,希望對(duì)大家有所幫助，如果大家有任何疑問(wèn)請(qǐng)給我留言，小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)腳本之家網(wǎng)站的支持！
如果你覺(jué)得本文對(duì)你有幫助，歡迎轉(zhuǎn)載，煩請(qǐng)注明出處，謝謝！

最新評(píng)論