欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python爬蟲(chóng)爬取商品失敗處理方法

 更新時(shí)間：2021年08月05日 08:28:56   作者：py  
在本篇文章里小編給大家整理了一篇關(guān)于Python爬蟲(chóng)爬取商品失敗處理方法，有興趣的朋友們可以學(xué)習(xí)參考下。

1.登陸網(wǎng)站，開(kāi)啟開(kāi)發(fā)者模式。

可以在瀏覽器中點(diǎn)擊右鍵檢查或者F12打開(kāi)開(kāi)發(fā)者模式。

2.點(diǎn)選 NetWork，DOC，然后刷新頁(yè)面。

在 network 中選擇 doc，在請(qǐng)求的 headers 中搜索 cookie。

3.獲取對(duì)應(yīng)的 cookie 以及 user-agent。

4.在代碼中添加到 headers 里面。

def getHTMLText(url):
  kv = {
    'cookie': 'adsgadfafegadsgadsfaefasdfaewfadsfag'
    'uaer-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'
  }
    try:
    r = requests.get(url, headers=kv, timeout=30)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    return r.text
  except:
    return "gg"

實(shí)例擴(kuò)展：

程序的結(jié)構(gòu)設(shè)計(jì)

  1. 提交商品搜索請(qǐng)求，循環(huán)獲取頁(yè)面
  2. 對(duì)于每個(gè)頁(yè)面，提取商品名稱和價(jià)格信息
  3. 將信息輸出

遇到問(wèn)題

爬取成功，數(shù)據(jù)有問(wèn)題

打印 html 文件，返回如下

<script type="text/javascript">
  TRLang = {
    ERROR_NICK_BLANK: "請(qǐng)?zhí)顚?xiě)賬戶名",
    ERROR_PASSWORD_BLANK: "請(qǐng)輸入密碼",
    ERROR_NICK_PASSWORD_BLANK: "請(qǐng)輸入賬戶名和密碼",
    ERROR_CHECKCODE_BLANK: "請(qǐng)輸入驗(yàn)證碼",
    TIPS_REMEMBER_PASSWORD: "記住密碼",
    TIPS_NOT_REMEMBER_PSW_ON_PUBLIC: "不要在公共計(jì)算機(jī)記住密碼，防止賬戶被盜"
  };
</script>

到此這篇關(guān)于Python爬蟲(chóng)爬取商品失敗處理方法的文章就介紹到這了,更多相關(guān)Python爬蟲(chóng)爬取商品失敗內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

相關(guān)文章

  • 新版selenium4.0 + Python使用詳解

    新版selenium4.0 + Python使用詳解

    本文主要介紹了新版selenium4.0 + Python使用詳解，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2022-07-07
  • python刪除列表元素del,pop(),remove()及clear()

    python刪除列表元素del,pop(),remove()及clear()

    這篇文章主要介紹了python刪除列表元素del,pop(),remove()及clear()，列表元素能增加就可以刪除，這里要給大家介紹的是刪除列表元素，具有一定的參考價(jià)值，需要的小伙伴可以參考一下
    2022-03-03
  • Python OpenCV機(jī)器學(xué)習(xí)之圖像識(shí)別詳解

    Python OpenCV機(jī)器學(xué)習(xí)之圖像識(shí)別詳解

    OpenCV中也提供了一些機(jī)器學(xué)習(xí)的方法，例如DNN等。本文將為大家詳細(xì)介紹一下OpenCV中利用機(jī)器學(xué)習(xí)實(shí)現(xiàn)的一些圖片識(shí)別功能：人臉識(shí)別、車(chē)牌識(shí)別等，感興趣的可以了解一下
    2022-01-01
  • pycharm安裝和首次使用教程

    pycharm安裝和首次使用教程

    這篇文章主要為大家詳細(xì)介紹了PyCharm安裝使用教程，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
    2018-08-08
  • Python構(gòu)造函數(shù)與析構(gòu)函數(shù)超詳細(xì)分析

    Python構(gòu)造函數(shù)與析構(gòu)函數(shù)超詳細(xì)分析

    在python之中定義一個(gè)類的時(shí)候會(huì)在類中創(chuàng)建一個(gè)名為_(kāi)_init__的函數(shù)，這個(gè)函數(shù)就叫做構(gòu)造函數(shù)。它的作用就是在實(shí)例化類的時(shí)候去自動(dòng)的定義一些屬性和方法的值，而析構(gòu)函數(shù)恰恰是一個(gè)和它相反的函數(shù)，這篇文章主要介紹了Python構(gòu)造函數(shù)與析構(gòu)函數(shù)
    2022-11-11
  • Python如何讀寫(xiě)CSV文件

    Python如何讀寫(xiě)CSV文件

    這篇文章主要介紹了Python如何讀寫(xiě)CSV文件，幫助大家更好的理解和學(xué)習(xí)python，感興趣的朋友可以了解下
    2020-08-08
  • python是否適合網(wǎng)頁(yè)編程詳解

    python是否適合網(wǎng)頁(yè)編程詳解

    在本篇文章里我們給各位整理了一篇關(guān)于python是否適合網(wǎng)頁(yè)編程詳解內(nèi)容，有需要的朋友們可以學(xué)習(xí)下。
    2019-10-10
  • 關(guān)于tensorflow的幾種參數(shù)初始化方法小結(jié)

    關(guān)于tensorflow的幾種參數(shù)初始化方法小結(jié)

    今天小編就為大家分享一篇關(guān)于tensorflow的幾種參數(shù)初始化方法小結(jié)，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2020-01-01
  • Python實(shí)現(xiàn)批量修改圖片格式和大小的方法【opencv庫(kù)與PIL庫(kù)】

    Python實(shí)現(xiàn)批量修改圖片格式和大小的方法【opencv庫(kù)與PIL庫(kù)】

    這篇文章主要介紹了Python實(shí)現(xiàn)批量修改圖片格式和大小的方法,結(jié)合實(shí)例形式分析了Python基于opencv庫(kù)與PIL庫(kù)針對(duì)圖片的讀寫(xiě)、轉(zhuǎn)換相關(guān)操作技巧,需要的朋友可以參考下
    2018-12-12
  • python jupyter入門(mén)教程

    python jupyter入門(mén)教程

    Jupyter Notebook是一個(gè)開(kāi)源的Web應(yīng)用程序，允許用戶創(chuàng)建和共享包含代碼、方程式、可視化和文本的文檔，今天通過(guò)本文給大家分享python jupyter入門(mén)教程，需要的朋友一起看看吧
    2021-08-08

最新評(píng)論