python網(wǎng)絡爬蟲之如何偽裝逃過反爬蟲程序的方法
更新時間：2017年11月23日 09:15:03 作者：Master HaKu
本篇文章主要介紹了python網(wǎng)絡爬蟲之如何偽裝逃過反爬蟲程序的方法，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
有的時候，我們本來寫得好好的爬蟲代碼，之前還運行得Ok, 一下子突然報錯了。
報錯信息如下：
Http 800 Internal internet error
這是因為你的對象網(wǎng)站設置了反爬蟲程序，如果用現(xiàn)有的爬蟲代碼，會被拒絕。
之前正常的爬蟲代碼如下：
from urllib.request import urlopen ... html = urlopen(scrapeUrl) bsObj = BeautifulSoup(html.read(), "html.parser")
這個時候，需要我們給我們的爬蟲代碼做下偽裝，
給它添加表頭偽裝成是來自瀏覽器的請求
修改后的代碼如下：
import urllib.parse
import urllib.request
from bs4 import BeautifulSoup
...
req = urllib.request.Request(scrapeUrl)
req.add_header('User-Agent', 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)')
response = urllib.request.urlopen(req)
html = response.read()
bsObj = BeautifulSoup(html, "html.parser")
Ok,一切搞定，又可以繼續(xù)爬了。
以上就是本文的全部內(nèi)容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。
您可能感興趣的文章:
- python爬蟲爬取淘寶商品比價(附淘寶反爬蟲機制解決小辦法)
- 用sleep間隔進行python反爬蟲的實例講解
- python中繞過反爬蟲的方法總結(jié)
- cookies應對python反爬蟲知識點詳解
- python反爬蟲方法的優(yōu)缺點分析
- python 常見的反爬蟲策略
- Python爬蟲與反爬蟲大戰(zhàn)
- Python常見反爬蟲機制解決方案
- Python反爬蟲偽裝瀏覽器進行爬蟲
- 詳解python 破解網(wǎng)站反爬蟲的兩種簡單方法
- python爬蟲 urllib模塊反爬蟲機制UA詳解
- 用python3 urllib破解有道翻譯反爬蟲機制詳解
- Python反爬蟲技術(shù)之防止IP地址被封殺的講解
- Python3爬蟲學習之應對網(wǎng)站反爬蟲機制的方法分析
- python通過偽裝頭部數(shù)據(jù)抵抗反爬蟲的實例
- python解決網(wǎng)站的反爬蟲策略總結(jié)
- Requests什么的通通爬不了的Python超強反爬蟲方案！
相關(guān)文章
這篇文章主要介紹了python實現(xiàn)每天自動簽到領積分的示例代碼，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-08-08
這篇文章主要介紹了Python xlrd讀取excel日期類型的2種方法,本文同時講解了xlrd讀取excel某個單元格的方法,需要的朋友可以參考下2015-04-04
Matplotlib可視化之添加讓統(tǒng)計圖變得簡單易懂的注釋
今天給大家?guī)淼奈恼率顷P(guān)于Python的,文章圍繞著Python Matplotlib可視化展開,文中非常詳細的介紹了如何給統(tǒng)計圖添加注釋,需要的朋友可以參考下2021-06-06
不知不覺使用python寫代碼已經(jīng)很長時間了,下面這篇文章主要給大家介紹了關(guān)于python鴨子類型(duck?type)和猴子補丁(mokey?patching)的相關(guān)資料,文中通過示例代碼介紹的非常詳細,需要的朋友可以參考下2022-04-04![詳解python中[-1]、[:-1]、[::-1]、[n::-1]使用方法](http://img.jbzj.com/images/xgimg/bcimg4.png)
詳解python中[-1]、[:-1]、[::-1]、[n::-1]使用方法
這篇文章主要介紹了詳解python中[-1]、[:-1]、[::-1]、[n::-1]使用方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2021-04-04
這篇文章主要介紹了Win7與Win10下的Tensorboard可視化問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-09-09
python實現(xiàn)自動化報表功能(Oracle/plsql/Excel/多線程)
這篇文章主要介紹了python實現(xiàn)自動化報表(Oracle/plsql/Excel/多線程)的相關(guān)知識，本文給大家介紹的非常詳細，具有一定的參考借鑒價值,需要的朋友可以參考下2019-12-12
python list等分并從等分的子集中隨機選取一個數(shù)
這篇文章主要介紹了python list等分并從等分的子集中隨機選取一個數(shù)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-11-11
本文給大家總結(jié)了python中常用函數(shù)，非常的細致全面，有需要的小伙伴可以參考下2016-09-09
今天小編就為大家分享一篇關(guān)于Python 的簡單柵格圖像邊界提取方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-07-07