Python爬蟲爬取商品失敗處理方法
更新時間：2021年08月05日 08:28:56 作者：py
在本篇文章里小編給大家整理了一篇關于Python爬蟲爬取商品失敗處理方法，有興趣的朋友們可以學習參考下。
1.登陸網站，開啟開發(fā)者模式。
可以在瀏覽器中點擊右鍵檢查或者F12打開開發(fā)者模式。
2.點選 NetWork，DOC，然后刷新頁面。
在 network 中選擇 doc，在請求的 headers 中搜索 cookie。
3.獲取對應的 cookie 以及 user-agent。
4.在代碼中添加到 headers 里面。
def getHTMLText(url):
kv = {
'cookie': 'adsgadfafegadsgadsfaefasdfaewfadsfag'
'uaer-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'
}
try:
r = requests.get(url, headers=kv, timeout=30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return "gg"
實例擴展：
程序的結構設計
- 提交商品搜索請求，循環(huán)獲取頁面
- 對于每個頁面，提取商品名稱和價格信息
- 將信息輸出
遇到問題
爬取成功，數據有問題
打印 html 文件，返回如下
<script type="text/javascript">
TRLang = {
ERROR_NICK_BLANK: "請?zhí)顚戀~戶名",
ERROR_PASSWORD_BLANK: "請輸入密碼",
ERROR_NICK_PASSWORD_BLANK: "請輸入賬戶名和密碼",
ERROR_CHECKCODE_BLANK: "請輸入驗證碼",
TIPS_REMEMBER_PASSWORD: "記住密碼",
TIPS_NOT_REMEMBER_PSW_ON_PUBLIC: "不要在公共計算機記住密碼，防止賬戶被盜"
};
</script>
到此這篇關于Python爬蟲爬取商品失敗處理方法的文章就介紹到這了,更多相關Python爬蟲爬取商品失敗內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
本文主要介紹了新版selenium4.0 + Python使用詳解，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2022-07-07
python刪除列表元素del,pop(),remove()及clear()
這篇文章主要介紹了python刪除列表元素del,pop(),remove()及clear()，列表元素能增加就可以刪除，這里要給大家介紹的是刪除列表元素，具有一定的參考價值，需要的小伙伴可以參考一下2022-03-03
OpenCV中也提供了一些機器學習的方法，例如DNN等。本文將為大家詳細介紹一下OpenCV中利用機器學習實現(xiàn)的一些圖片識別功能：人臉識別、車牌識別等，感興趣的可以了解一下2022-01-01
這篇文章主要為大家詳細介紹了PyCharm安裝使用教程，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-08-08
在python之中定義一個類的時候會在類中創(chuàng)建一個名為__init__的函數，這個函數就叫做構造函數。它的作用就是在實例化類的時候去自動的定義一些屬性和方法的值，而析構函數恰恰是一個和它相反的函數，這篇文章主要介紹了Python構造函數與析構函數2022-11-11
這篇文章主要介紹了Python如何讀寫CSV文件，幫助大家更好的理解和學習python，感興趣的朋友可以了解下2020-08-08
在本篇文章里我們給各位整理了一篇關于python是否適合網頁編程詳解內容，有需要的朋友們可以學習下。2019-10-10
今天小編就為大家分享一篇關于tensorflow的幾種參數初始化方法小結，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-01-01
Python實現(xiàn)批量修改圖片格式和大小的方法【opencv庫與PIL庫】
這篇文章主要介紹了Python實現(xiàn)批量修改圖片格式和大小的方法,結合實例形式分析了Python基于opencv庫與PIL庫針對圖片的讀寫、轉換相關操作技巧,需要的朋友可以參考下2018-12-12
Jupyter Notebook是一個開源的Web應用程序，允許用戶創(chuàng)建和共享包含代碼、方程式、可視化和文本的文檔，今天通過本文給大家分享python jupyter入門教程，需要的朋友一起看看吧2021-08-08