欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python爬蟲之網(wǎng)絡(luò)請求

 更新時(shí)間：2022年04月11日 20:55:05   作者：長得丑就要多讀書  
這篇文章主要介紹了Python爬蟲之網(wǎng)絡(luò)請求，文章基于Python展開對網(wǎng)絡(luò)請求的相關(guān)介紹，需要的小伙伴可以參考一下

1.IP代理

某些網(wǎng)站會檢測一段時(shí)間內(nèi)某IP的訪問次數(shù)，若訪問次數(shù)過多會禁止訪問，這時(shí)需要設(shè)置一些代理服務(wù)器，每隔一段時(shí)間換一個(gè)代理。IP代理的分類：

  • ①透明代理：目標(biāo)網(wǎng)站可以得知使用了代理以及源IP地址，顯然這不符合要求；
  • ②匿名代理：目標(biāo)網(wǎng)站知道使用了代理，但不知道源IP地址；
  • ③高匿代理：最保險(xiǎn)的方式，目標(biāo)網(wǎng)站既不知道使用了代理，也不知道源IP地址。

2.Cookie

解決http的無狀態(tài)性，第一次向服務(wù)器發(fā)送請求時(shí)，服務(wù)器生成Cookie作為請求頭并儲存到瀏覽器中；瀏覽器再次發(fā)送請求時(shí)將攜帶Cookie信息。

import urllib.request
from http import cookiejar
filename = 'cookie.txt'
#獲取Cookie
def get_cookie():
? ? #實(shí)例化一個(gè)MozillaCookieJar用于存儲cookie
? ? cookie = cookiejar.MozillaCookieJar(filename)
? ? #創(chuàng)建handler對象
? ? handler = urllib.request.HTTPCookieProcessor(cookie)
? ? #創(chuàng)建opener對象
? ? opener = urllib.request.build_opener(handler)
? ? #請求網(wǎng)址
? ? url = 'https://tieba.baidu.com/index.html?traceid=#'
? ? resp = opener.open(url) #發(fā)送請求
? ? #存儲cookie文件
? ? cookie.save()
?
#讀取cookie
def use_cookie():
? ? #實(shí)例化MozillaCookieJar
? ? cookie = cookiejar.MozillaCookieJar()
? ? #加載cookie文件
? ? cookie.load(filename)
? ? print(cookie)
?
get_cookie()
use_cookie()

3.異常處理 

①urllib.error.URLError：用于捕獲由urllib.request產(chǎn)生的異常，使用reason屬性返回錯(cuò)誤原因

import urllib.request
import urllib.error
?
url = 'http://www.google.com'
try:
? ? resp = urllib.request.urlopen(url)
except urllib.error.URLError as e:
? ? print(e.reason)

輸出結(jié)果：

[WinError 10060] 由于連接方在一段時(shí)間后沒有正確答復(fù)或連接的主機(jī)沒有反應(yīng)，連接嘗試失敗。

②urllib.error.HTTPError：用于處理HTTP與HTTPS請求的錯(cuò)誤，

有三個(gè)屬性：

  • code：請求返回的狀態(tài)碼
  • reason：返回錯(cuò)誤的原因
  • headers：請求返回的響應(yīng)頭信息
import urllib.request
import urllib.error
?
url = 'https://movie.douban.com/'
try:
? ? resp = urllib.request.urlopen(url)
except urllib.error.HTTPError as e:
? ? print('原因：',e.reason)
? ? print('響應(yīng)狀態(tài)碼：',str(e.code))
? ? print('響應(yīng)頭數(shù)據(jù)：',e.headers)

到此這篇關(guān)于Python爬蟲之網(wǎng)絡(luò)請求的文章就介紹到這了,更多相關(guān)Python 網(wǎng)絡(luò)請求內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

相關(guān)文章

最新評論