Python3 偽裝瀏覽器的方法示例
一、偽裝瀏覽器
對(duì)于一些需要登錄的網(wǎng)站，如果不是從瀏覽器發(fā)出的請(qǐng)求，則得不到響應(yīng)。所以，我們需要將爬蟲程序發(fā)出的請(qǐng)求偽裝成瀏覽器正規(guī)軍。
具體實(shí)現(xiàn)：自定義網(wǎng)頁(yè)請(qǐng)求報(bào)頭。
二、使用Fiddler查看請(qǐng)求和響應(yīng)報(bào)頭
打開工具Fiddler，然后再瀏覽器訪問“https://www.douban.com/”，在Fiddler左側(cè)訪問記錄中，找到“200 HTTPS www.douban.com”這一條，點(diǎn)擊查看其對(duì)應(yīng)的請(qǐng)求和響應(yīng)報(bào)頭具體內(nèi)容：
三、訪問豆瓣
我們自定義請(qǐng)求報(bào)頭與上圖Request Headers相同內(nèi)容：
'''''
偽裝瀏覽器
對(duì)于一些需要登錄的網(wǎng)站，如果不是從瀏覽器發(fā)出的請(qǐng)求，則得不到響應(yīng)。
所以，我們需要將爬蟲程序發(fā)出的請(qǐng)求偽裝成瀏覽器正規(guī)軍。
具體實(shí)現(xiàn)：自定義網(wǎng)頁(yè)請(qǐng)求報(bào)頭。
'''
#實(shí)例二：依然爬取豆瓣，采用偽裝瀏覽器的方式
import urllib.request
#定義保存函數(shù)
def saveFile(data):
path = "E:\\projects\\Spider\\02_douban.out"
f = open(path,'wb')
f.write(data)
f.close()
#網(wǎng)址
url = "https://www.douban.com/"
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/51.0.2704.63 Safari/537.36'}
req = urllib.request.Request(url=url,headers=headers)
res = urllib.request.urlopen(req)
data = res.read()
#也可以把爬取的內(nèi)容保存到文件中
saveFile(data)
data = data.decode('utf-8')
#打印抓取的內(nèi)容
print(data)
#打印爬取網(wǎng)頁(yè)的各類信息
print(type(res))
print(res.geturl())
print(res.info())
print(res.getcode())
四、輸出的結(jié)果結(jié)果（截取部分）
結(jié)果文件內(nèi)容
GitHub代碼鏈接
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
OpenCV利用手勢(shì)識(shí)別實(shí)現(xiàn)虛擬拖放效果
這篇文章主要介紹了利用OpenCV實(shí)現(xiàn)手勢(shì)識(shí)別，從而進(jìn)行虛擬拖放效果，我們可以使用這個(gè)技術(shù)實(shí)現(xiàn)一些游戲，控制機(jī)械臂等很多有趣的事情。感興趣的可以學(xué)習(xí)一下2022-01-01
python3 批量獲取對(duì)應(yīng)端口服務(wù)的實(shí)例
今天小編就為大家分享一篇python3 批量獲取對(duì)應(yīng)端口服務(wù)的實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-07-07
基于Python實(shí)現(xiàn)電影售票系統(tǒng)
這篇文章主要介紹了通過Python實(shí)現(xiàn)一個(gè)簡(jiǎn)單的電影售票系統(tǒng)，文中的示例代碼對(duì)我們學(xué)習(xí)Python有一定的幫助，感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下2021-12-12
Python樹莓派學(xué)習(xí)筆記之UDP傳輸視頻幀操作詳解
這篇文章主要介紹了Python樹莓派學(xué)習(xí)筆記之UDP傳輸視頻幀操作,結(jié)合實(shí)例形式詳細(xì)分析了Python樹莓派編程中使用UDP協(xié)議進(jìn)行視頻幀傳輸?shù)南嚓P(guān)操作技巧與注意事項(xiàng),需要的朋友可以參考下2019-11-11
python3 下載網(wǎng)絡(luò)圖片代碼實(shí)例
這篇文章主要介紹了python3 下載網(wǎng)絡(luò)圖片代碼實(shí)例,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-08-08
在Python中,?如何獲取操作系統(tǒng)的類型、名稱、版本等信息,本文就來介紹三種獲取方法,文中通過示例代碼介紹的非常詳細(xì),需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2024-01-01
python之pyqt5通過按鈕改變Label的背景顏色方法
今天小編就為大家分享一篇python之pyqt5通過按鈕改變Label的背景顏色方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-06-06
lxml 是 Python 常用的文檔解析庫(kù)，能夠高效地解析 HTML/XML 文檔，常用于 Python 爬蟲，這篇文章主要介紹了Python?文檔解析：lxml庫(kù)的使用,需要的朋友可以參考下2022-09-09
Python3基礎(chǔ)教程之遞歸函數(shù)簡(jiǎn)單示例
這篇文章主要給大家介紹了關(guān)于Python3基礎(chǔ)教程之遞歸函數(shù)簡(jiǎn)單示例的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家學(xué)習(xí)或者使用Python3具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧2019-06-06
這篇文章給大家分享了python高階爬蟲實(shí)戰(zhàn)的相關(guān)實(shí)例內(nèi)容以及技巧分析，有興趣的朋友參考下。2018-07-07