詳解selenium + chromedriver 被反爬的解決方法
問(wèn)題背景：這個(gè)問(wèn)題是在爬取某夕夕商城遇到的問(wèn)題，原本的方案是用selenium + chromedriver + mitmproxy開心的刷，但是幾天之后，發(fā)現(xiàn)刷不出來(lái)了，會(huì)直接跳轉(zhuǎn)到登陸界面（很明顯，是遭遇反爬了）
講實(shí)話，這還是第一次用硒被反爬的，于是進(jìn)行大規(guī)模的測(cè)試對(duì)比。
同臺(tái)機(jī)器，用鉻瀏覽器正常訪問(wèn)是不用跳轉(zhuǎn)到登陸界面的，所以不是IP的問(wèn)題。再用提琴手抓包對(duì)比了一下兩個(gè)請(qǐng)求頭，請(qǐng)求頭都是一樣的，所以忽略標(biāo)頭的反爬。
最后通過(guò)分析，可能是硒被檢測(cè)出來(lái)了。于是就去查資料。大概的查到是和webdriver的有關(guān)系的。因?yàn)檫@個(gè)在服務(wù)端是可以檢測(cè)到的。于是通過(guò)fiddler抓包，全局搜索了一下webdriver，發(fā)現(xiàn)在js中果然是有判斷的。導(dǎo)致selenium爬取的時(shí)候，被轉(zhuǎn)到登陸界面。
解決方法：mitmproxy
因?yàn)閙itmproxy可以攔截請(qǐng)求，所以在響應(yīng)中，將包含的webdriver的JS中的關(guān)鍵字替換成其他的字符就可以了。
if "/_next/static/js/common_pdd" in flow.request.url:
flow.response.text = flow.response.text.replace("webdriver", "userAgent")
我是這樣替換的。這樣js解析的參數(shù)就變了，問(wèn)題花刃而解。可以正常爬取數(shù)據(jù)了。
另外國(guó)外網(wǎng)上也有很多方法，比如修改webdriver里的一些特定參數(shù)名稱，我嘗試了一下，沒有生效。
到此這篇關(guān)于詳解selenium + chromedriver 被反爬的解決方法的文章就介紹到這了,更多相關(guān)selenium chromedriver反爬內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
- python+selenium+chromedriver實(shí)現(xiàn)爬蟲示例代碼
- selenium+chromedriver在服務(wù)器運(yùn)行的詳細(xì)教程
- 使用selenium自動(dòng)控制瀏覽器找不到Chromedriver問(wèn)題
- 下載與當(dāng)前Chrome對(duì)應(yīng)的chromedriver.exe(用于python+selenium)
- python selenium 執(zhí)行完畢關(guān)閉chromedriver進(jìn)程示例
- selenium + ChromeDriver安裝及使用方法
- selenium 安裝與chromedriver安裝的方法步驟
- selenium使用chrome瀏覽器測(cè)試（附chromedriver與chrome的對(duì)應(yīng)關(guān)系表）
相關(guān)文章
在Flask使用TensorFlow的幾個(gè)常見錯(cuò)誤及解決
這篇文章主要介紹了在Flask使用TensorFlow的幾個(gè)常見錯(cuò)誤及解決,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-01-01
python 隨機(jī)密碼生成器的實(shí)現(xiàn)示例
隨機(jī)密碼生成器是一種非常有用的工具,它可以幫助我們生成隨機(jī)的、復(fù)雜的密碼,提高我們的賬戶安全性,本文就來(lái)介紹一下python 隨機(jī)密碼生成器的實(shí)現(xiàn)示例,感興趣的可以了解一下2023-11-11
Python使用Gradio實(shí)現(xiàn)免費(fèi)的內(nèi)網(wǎng)穿透
內(nèi)網(wǎng)穿透是一種將內(nèi)部網(wǎng)絡(luò)服務(wù)暴露到公共網(wǎng)絡(luò)的技術(shù),可以讓外部用戶訪問(wèn)內(nèi)部網(wǎng)絡(luò)上的服務(wù),本文將介紹如何使用Gradio實(shí)現(xiàn)免費(fèi)的內(nèi)網(wǎng)穿透,需要的可以參考下2024-03-03
這篇文章主要介紹了使用C++擴(kuò)展Python的功能詳解，具有一定借鑒價(jià)值,需要的朋友可以參考下2018-01-01
Python+OpenCV實(shí)現(xiàn)圖像識(shí)別替換功能詳解
OpenCV-Python是一個(gè)Python庫(kù)，旨在解決計(jì)算機(jī)視覺問(wèn)題。本文將利用Python+OpenCV實(shí)現(xiàn)圖像識(shí)別替換功能，感興趣的小伙伴可以動(dòng)手嘗試一下2022-07-07
這篇文章主要介紹了在Python中使用PIL模塊處理圖像的教程,PIL模塊在Python編程中也是十分常用的模塊,示例代碼基于Python2.x版本,需要的朋友可以參考下2015-04-04
使用python實(shí)現(xiàn)下拉選擇框和頁(yè)簽的方法
ttk是Python中的一個(gè)模塊，它提供了一組用于創(chuàng)建GUI界面的工具和控件，這些控件包括按鈕、標(biāo)簽、文本框等，可以幫助開發(fā)者更方便地創(chuàng)建用戶界面，這篇文章主要介紹了使用python實(shí)現(xiàn)下拉選擇框和頁(yè)簽的方法,需要的朋友可以參考下2023-03-03
在日常生活中經(jīng)常有需要調(diào)整圖片大小的需求，一張兩張的還好，但是如果需要幾十張幾百?gòu)埳踔翈浊?，就可以考慮使用Python腳本來(lái)執(zhí)行了，下面小編就來(lái)和大家分享幾個(gè)Python可以批量修改圖片大小的腳本吧2023-07-07
python?selenium模擬點(diǎn)擊問(wèn)題解決方案
這篇文章主要介紹了python?selenium模擬點(diǎn)擊問(wèn)題，涉及到安裝谷歌瀏覽器和瀏覽器驅(qū)動(dòng)的相關(guān)知識(shí)介紹，本文結(jié)合實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2022-05-05
這篇文章主要介紹了Python編程之多態(tài)用法,以實(shí)例形式詳細(xì)分析了Python中多態(tài)的使用技巧,需要的朋友可以參考下2015-05-05