python中繞過反爬蟲的方法總結(jié)
我們在登山的途中，有不同的路線可以到達(dá)終點(diǎn)。因為選擇的路線不同，上山的難度也有區(qū)別。就像最近幾天教大家獲取數(shù)據(jù)的時候，斷斷續(xù)續(xù)的講過header、地址ip等一些的方法。具體的爬取方法相信大家已經(jīng)掌握住，本篇小編主要是給大家進(jìn)行應(yīng)對反爬蟲方法的一個梳理，在進(jìn)行方法回顧的同時查漏補(bǔ)缺，建立系統(tǒng)的爬蟲知識框架。
首先分析要爬的網(wǎng)站，本質(zhì)是一個信息查詢系統(tǒng)，提供了搜索頁面。例如我想獲取某個case，需要利用這個case的id或者name字段，才能搜索到這個case的頁面。
出于對安全的考慮，有些網(wǎng)站會做一些反爬的措施，例如之前講到的需要判斷user-angent和cookies，或者判斷請求的ip是否在短時間內(nèi)多次訪問。該網(wǎng)站用的是知道創(chuàng)宇的安全服務(wù)，頻繁訪問會提示ip行為不正常。
瀏覽器本質(zhì)也是一個應(yīng)用程序，只要ip不被封，既然可以通過瀏覽器訪問，那么我們自己寫程序來請求也是應(yīng)該沒有問題的。
一些常見的繞過反爬蟲的措施有：
- 構(gòu)造消息頭：如上所說的user-angent和cookies都包含在消息頭當(dāng)中。
- 延長請求間隔：如果快速頻繁的發(fā)送請求，會大量搶占服務(wù)器資源，一般這種情況下很容易被網(wǎng)站的安全措施檢測出來并且封掉ip。所以適當(dāng)?shù)难娱L請求間隔，例如隨機(jī)隔2-5秒不等再發(fā)送下一次請求。
- 使用代理ip，解決ip檢測問題。
當(dāng)然常見的反爬蟲方法也不止以上的這些，這里只羅列出這常用的三種方法，有概念模糊的可以去往期的文章翻閱，其他的繞過反爬蟲方法
到此這篇關(guān)于python中繞過反爬蟲的方法總結(jié)的文章就介紹到這了,更多相關(guān)python中繞過反爬蟲的方法有哪些內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
下面小編就為大家分享一篇python實現(xiàn)在IDLE中輸入多行的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-04-04
這篇文章主要介紹了Python格式化日期時間操作,結(jié)合實例形式分析了Python使用time模塊針對日期時間的獲取、轉(zhuǎn)換、格式化、判斷等相關(guān)操作技巧,需要的朋友可以參考下2018-06-06
Django中模版的子目錄與include標(biāo)簽的使用方法
這篇文章主要介紹了Django中模版的子目錄與include標(biāo)簽的使用方法,有利于Python的Django框架的模版布局,需要的朋友可以參考下2015-07-07
這篇文章主要介紹了matplotlib簡介,安裝和簡單實例代碼，具有一定借鑒價值，需要的朋友可以參考下。2017-12-12
Python如何做點(diǎn)擊率數(shù)據(jù)預(yù)測
這篇文章主要介紹了Python做點(diǎn)擊率數(shù)據(jù)預(yù)測,在這個場景中,我們通常需要根據(jù)用戶的歷史行為、物品的特征、上下文信息等因素來預(yù)測用戶點(diǎn)擊某個特定物品（如廣告、推薦商品）的概率,需要的朋友可以參考下2024-06-06
Python 實現(xiàn)Numpy中找出array中最大值所對應(yīng)的行和列
今天小編就為大家分享一篇Python 實現(xiàn)Numpy中找出array中最大值所對應(yīng)的行和列，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-11-11
這篇文章主要介紹了使用Django和Flask獲取訪問來源referrer，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-04-04
這篇文章主要介紹了Python從臨時郵箱獲取驗證碼的操作代碼,本文通過實例代碼給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2023-08-08
python 實現(xiàn)dict轉(zhuǎn)json并保存文件
今天小編就為大家分享一篇python 實現(xiàn)dict轉(zhuǎn)json并保存文件，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-12-12
pytorch+sklearn實現(xiàn)數(shù)據(jù)加載的流程
這篇文章主要介紹了pytorch+sklearn實現(xiàn)數(shù)據(jù)加載,之前在訓(xùn)練網(wǎng)絡(luò)的時候加載數(shù)據(jù)都是稀里糊涂的放進(jìn)去的，也沒有理清楚里面的流程，今天整理一下，加深理解，也方便以后查閱，需要的朋友可以參考下2022-11-11