python爬蟲模擬瀏覽器訪問-User-Agent過程解析
更新時間：2019年12月28日 10:08:30 作者：故事的小黃花丶
這篇文章主要介紹了python爬蟲模擬瀏覽器訪問-User-Agent過程解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
這篇文章主要介紹了python爬蟲模擬瀏覽器訪問-User-Agent過程解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
模擬瀏覽器訪問-User-Agent：
import urllib2
#User-Agent 模擬瀏覽器訪問
headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36"}
#通過urllib2.Request()方法構(gòu)造一個請求對象
request = urllib2.Request("http://www.baidu.com/",headers = headers)
#向指定的URL地址發(fā)送請求，并返回服務(wù)器響應(yīng)的類文件對象
#response是服務(wù)器響應(yīng)的類文件，除了支持文件操作的方法外，還支持以下常用的方法：
response = urllib2.urlopen(request)
#服務(wù)器返回的類文件對象支持python文件對象的操作方法
#read()方法就是讀取文件里的全部內(nèi)容，返回字符串
html = response.read()
#返回HTTP的響應(yīng)碼，成功返回200,4服務(wù)器頁面出錯；5.服務(wù)器問題
print response.getcode()
#返回實際數(shù)據(jù)的實際URL，防止重定向問題
print response.geturl()
#返回服務(wù)器響應(yīng)的HTTP報頭
print response.info()
#打印響應(yīng)內(nèi)容
print(html)
以上就是本文的全部內(nèi)容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
Python實現(xiàn)查詢某個目錄下修改時間最新的文件示例
這篇文章主要介紹了Python實現(xiàn)查詢某個目錄下修改時間最新的文件,涉及Python使用os與shutil模塊針對文件的遍歷、屬性獲取、讀寫等相關(guān)操作技巧,需要的朋友可以參考下2018-08-08
今天小編就為大家分享一篇使用pytorch進行圖像的順序讀取方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-07-07
Python 內(nèi)置函數(shù)complex詳解
這篇文章主要介紹了Python 內(nèi)置函數(shù)complex詳解的相關(guān)資料,需要的朋友可以參考下2016-10-10
這篇文章主要介紹了Python面向?qū)ο缶幊讨^承與多態(tài),結(jié)合實例形式詳細分析了Python面向?qū)ο缶幊讨欣^承與多態(tài)的概念、使用方法及相關(guān)注意事項,需要的朋友可以參考下2018-01-01
這篇文章主要介紹了python多進程使用函數(shù)封裝實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-05-05
在本篇文章里小編給大家整理的是關(guān)于python中wheel的用法整理內(nèi)容，需要的朋友們可以跟著學習下。2020-06-06
這篇文章主要介紹了淺談Python traceback的優(yōu)雅處理，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-08-08
Python開發(fā)虛擬環(huán)境使用virtualenvwrapper的搭建步驟教程圖解
virtualenvwrapper是用來管理virtualenv的擴展包，用著很方便。這篇文章主要介紹了Python開發(fā)虛擬環(huán)境使用virtualenvwrapper的搭建步驟 ,需要的朋友可以參考下2018-09-09
Python爬蟲之Selenium下拉框處理的實現(xiàn)
這篇文章主要介紹了Python爬蟲之Selenium下拉框處理的實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-12-12
PyTorch中 tensor.detach() 和 tensor.data 的區(qū)別詳解
今天小編就為大家分享一篇PyTorch中 tensor.detach() 和 tensor.data 的區(qū)別詳解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-01-01