欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

python爬蟲系列網(wǎng)絡(luò)請求案例詳解

 更新時間：2021年04月08日 11:07:55   作者：互聯(lián)網(wǎng)老辛  
這篇文章主要介紹了【Python從零到壹】python爬蟲系列-網(wǎng)絡(luò)請求，從零開始學(xué)習(xí)Python網(wǎng)絡(luò)爬蟲，如何從中獲取需要的數(shù)據(jù)信息，現(xiàn)整理出零基礎(chǔ)如何學(xué)爬蟲技術(shù)以供學(xué)習(xí)

學(xué)習(xí)了之前的基礎(chǔ)和爬蟲基礎(chǔ)之后，我們要開始學(xué)習(xí)網(wǎng)絡(luò)請求了。

先來看看urllib

urllib的介紹

urllib是Python自帶的標(biāo)準(zhǔn)庫中用于網(wǎng)絡(luò)請求的庫，無需安裝，直接引用即可。
主要用來做爬蟲開發(fā)，API數(shù)據(jù)獲取和測試中使用。

urllib庫的四大模塊：

  • urllib.request: 用于打開和讀取url
  • urllib.error : 包含提出的例外，urllib.request
  • urllib.parse:用于解析url
  • urllib.robotparser：用于解析robots.txt

案例

# 作者：互聯(lián)網(wǎng)老辛
# 開發(fā)時間：2021/4/5/0005 8:23
import urllib.parse
kw={'wd':"互聯(lián)網(wǎng)老辛"}
result=urllib.parse.urlencode(kw)
print(result)
#解碼
res=urllib.parse.unquote(result)
print(res)

在這里插入圖片描述

瀏覽器中會把互聯(lián)網(wǎng)老辛，改成非中文的形式

我在瀏覽器中搜互聯(lián)網(wǎng)老辛，然后把瀏覽中的復(fù)制下來：

在這里插入圖片描述

https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&tn=baidu&wd=%E4%BA%92%E8%81%94%E7%BD%91%E8%80%81%E8%BE%9B&fenlei=256&oq=%25E7%25BE%258E%25E5%259B%25A2&rsv_pq=aa5b8079001eec3e&rsv_t=9ed1VMqcHzdaH7l2O1E8kMBcAS8OfSAGWHaXNgUYsfoVtGNbNVzHRatL1TU&rqlang=cn&rsv_enter=1&rsv_dl=tb&rsv_btype=t&inputT=3542&rsv_sug2=0&rsv_sug4=3542

仔細(xì)看下，加粗的部分是不是就是我們在代碼中輸出的wd的結(jié)果

發(fā)送請求

  •  urllib.request 庫

模擬瀏覽器發(fā)起一個http請求，并獲取請求的響應(yīng)結(jié)果

  • urllib.request.urlopen 的語法格式：

urlopen(url,data=None,[timeout]*,cafile=None,capath=None,cadefault=False,context=None

參數(shù)說明：

url： str類型的地址，也就是要訪問的URL，例如https://www/baidu.com
data: 默認(rèn)值為None
urlopen: 函數(shù)返回的是一個http.client.HTTPResponse對象

代碼案例

get請求

# 作者：互聯(lián)網(wǎng)老辛
# 開發(fā)時間：2021/4/5/0005 8:23
import urllib.request
url="http://www.geekyunwei.com/"
resp=urllib.request.urlopen(url)
html=resp.read().decode('utf-8')  #將bytes轉(zhuǎn)成utf-8類型
print(html)

為什么要改成utf-8而不是gbk, 這里要看網(wǎng)頁的檢查網(wǎng)頁源代碼里是什么：

在這里插入圖片描述

發(fā)送請求-Request請求

我們?nèi)ヅ廊《拱?/p> 

# 作者：互聯(lián)網(wǎng)老辛
# 開發(fā)時間：2021/4/5/0005 8:23
import urllib.request

url="https://movie.douban.com/"

resp=urllib.request.urlopen(url)
print(resp)

豆瓣有反爬蟲策略，會直接報418錯誤


在這里插入圖片描述

對于這種我們需要偽裝請求頭：

我們找到網(wǎng)頁中的user-Agent:

User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400
# 作者：互聯(lián)網(wǎng)老辛
# 開發(fā)時間：2021/4/5/0005 8:23
import urllib.request

url="https://movie.douban.com/"
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400'}

#構(gòu)建請求對象
req=urllib.request.Request(url,headers=headers)
#使用urlopen打開請求
resp=urllib.request.urlopen(req)
#從響應(yīng)結(jié)果中讀取數(shù)據(jù)
html=resp.read().decode('utf-8')
print(html)

這樣我們就用Python成功的偽裝成瀏覽器獲取到了數(shù)據(jù)

IP代理

opener的使用，構(gòu)建自己的opener發(fā)送請求

# 作者：互聯(lián)網(wǎng)老辛
# 開發(fā)時間：2021/4/5/0005 8:23
import urllib.request
url="https://www.baidu.com/"
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400'}
#構(gòu)建請求對象

req=urllib.request.Request(url,headers=headers)

opener=urllib.request.build_opener()
resp=opener.open(req)
print(resp.read().decode())

如果你不停的發(fā)送請求，他有可能給你禁止IP， 所以我們每隔一段時間就換一個IP代理。

IP代理分類：

  • 透明代理： 目標(biāo)網(wǎng)站知道你使用了代理并且知道你的源IP地址，這種代理肯定不符合我們的初衷
  • 匿名代理： 網(wǎng)站知道你使用了代理，但不知道你的源ip
  • 高匿代理： 這是最保險的方式，目錄網(wǎng)站不知道你使用了代理

ip代理的方式：

免費的： https://www.xicidaili.com/nn/

收費的： 大象代理，快代理,芝麻代理

# 作者：互聯(lián)網(wǎng)老辛
# 開發(fā)時間：2021/4/5/0005 8:23
from urllib.request import build_opener
from urllib.request import ProxyHandler
proxy=ProxyHandler({'https':'222.184.90.241:4278'})

opener=build_opener(proxy)

url='https://www.baidu.com/'
resp=opener.open(url)
print(resp.read().decode('utf-8'))

百度其實能夠做到反爬，即使是高匿代理也做不到百分百的繞過。

使用cookie

為什么使用cookie？

使用cookie主要是為了解決http的無狀態(tài)性。

使用步驟：

  • 實例化MozillaCookiejar（保存cookie）
  • 創(chuàng)建handler對象（cookie的處理器）
  • 創(chuàng)建opener對象
  • 打開網(wǎng)頁（發(fā)送請求獲取響應(yīng)）
  • 保存cookie文件

案例： 獲取百度貼的cookie存儲下來

import urllib.request
from http import cookiejar
filename='cookie.txt'
def get_cookie():
    cookie=cookiejar.MozillaCookieJar(filename)
    #創(chuàng)建handler對象

    handler=urllib.request.HTTPCookieProcessor(cookie)
    opener=urllib.request.build_opener((handler))
    #請求網(wǎng)址
    url='https://tieba.baidu.com/f?kw=python3&fr=index'

    resp=opener.open(url)
    # 保存cookie
    cookie.save()
#讀取數(shù)據(jù)
def use_cookie():
    #實例化MozillaCookieJar
    cookie=cookiejar.MozillaCookieJar()
    #加載cookie文件
    cookie.load(filename)
    print(cookie)
if __name__=='__main--':
    use_cookie()
    #get_cookie()

異常處理

我們爬取一個訪問不了的網(wǎng)站來捕獲異常

# 作者：互聯(lián)網(wǎng)老辛
# 開發(fā)時間：2021/4/6/0006 7:38

import urllib.request
import urllib.error
url='https://www.google.com'
try:
    resp=urllib.request.urlopen(url)
except urllib.error.URLError as e:
    print(e.reason)

可以看到捕獲到了異常

在這里插入圖片描述

網(wǎng)絡(luò)請求我們已經(jīng)學(xué)完了，后面我們將學(xué)習(xí)幾個常用的庫，之后就可以進(jìn)行數(shù)據(jù)的爬取了。

到此這篇關(guān)于python爬蟲系列網(wǎng)絡(luò)請求案例詳解的文章就介紹到這了,更多相關(guān)python爬蟲網(wǎng)絡(luò)請求內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

相關(guān)文章

最新評論