python爬蟲快速響應服務器的做法
更新時間：2020年11月24日 14:48:28 作者：小妮淺淺
在本篇文章里小編給大家整理的是一篇關于python爬蟲快速響應服務器的做法，需要的朋友們可以參考下。
不論是打開網頁或者爬取一些資料的時候，我們想要的是計算機能在最短的時間內運行出結果，不然等待的時間過長會影響下一步工作的計劃。這時候我們可以給計算機一個指令，限制最久能等待的時間，在我們能接受的時間內運行出結果。那么這個指令方法是什么呢？接下來我們一起看看吧。
requests之所以稱為“HTTP for human”，因為其封裝層次很高，其中一處體現(xiàn)就在：requests會自動處理服務器響應的重定向。我在做搜狗微信公眾號抓取的時候，搜狗搜索列表頁面的公眾號文章地址，其實不是微信的地址而需要請求到搜狗到服務器做重定向，而requests的默認處理則是將整個過程全部搞定，對此可以這樣：
In [1]: r = requests.get('http://xlzd.me', allow_redirects=False)
allow_redirects參數(shù)為False則表示不會主動重定向。
另外，有時候對方網站的響應時間太長了，我們希望在指定時間內完事，或者直接停止這個請求，這時候的做法是：
In [1]: r = requests.get('http://xlzd.me', timeout＝3)
timeout表示這次請求最長我最長只等待多少秒
拓展：
為requests套上一層代理的做法也非常簡單：
import requests
proxies = {
"http": "http://192.168.31.1:3128",
"https": "http://10.10.1.10:1080",
}
requests.get("http://xlzd.me", proxies=proxies)
到此這篇關于python爬蟲快速響應服務器的做法的文章就介紹到這了,更多相關python爬蟲中如何快速響應服務器內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
Python 兩個列表的差集、并集和交集實現(xiàn)代碼
這篇文章主要介紹了Python 兩個列表的差集、并集和交集實現(xiàn)代碼,需要的朋友可以參考下2016-09-09
python如果快速判斷數(shù)字奇數(shù)偶數(shù)
這篇文章主要介紹了python如果快速判斷數(shù)字奇數(shù)偶數(shù),文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-11-11
python初學者，用python實現(xiàn)基本的學生管理系統(tǒng)（python3）代碼實例
這篇文章主要介紹了用python實現(xiàn)學生管理系統(tǒng)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-04-04
這篇文章主要介紹了使用Python實現(xiàn)跳幀截取視頻幀，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-05-05
在本篇文章里小編給大家整理了關于Python正則表達式的一些基礎知識點以及相關用法實例內容，需要的朋友們可以參考下。2021-12-12
數(shù)據(jù)可視化是指用圖形或表格的方式來呈現(xiàn)數(shù)據(jù)。圖表能夠清楚地呈現(xiàn)數(shù)據(jù)性質， 以及數(shù)據(jù)間或屬性間的關系。本文為大家分享了幾個Python數(shù)據(jù)可視化繪圖的實例，感興趣的可以了解一下2022-05-05
這篇文章主要介紹了Numpy 理解ndarray對象的示例代碼，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-04-04
這篇文章主要介紹了Python 實現(xiàn)將某一列設置為str類型，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-07-07
unittest+coverage單元測試代碼覆蓋操作實例詳解
這篇文章主要為大家詳細介紹了unittest+coverage單元測試代碼覆蓋操作的實例，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-04-04
Python中的取模運算符是%,它與其他語言中的取余符號相同,整除運算符是//,表示向下取整,在Python中,正數(shù)的取余和取模結果相同,但負數(shù)的取余和取模結果有所不同,取余運算在計算時向0方向舍棄小數(shù)位,而取模運算向負無窮方向舍棄小數(shù)位2024-10-10