Python使用scrapy采集數(shù)據(jù)過(guò)程中放回下載過(guò)大頁(yè)面的方法
更新時(shí)間：2015年04月08日 10:27:20 作者：pythoner
這篇文章主要介紹了Python使用scrapy采集數(shù)據(jù)過(guò)程中放回下載過(guò)大頁(yè)面的方法,可實(shí)現(xiàn)限制下載過(guò)大頁(yè)面的功能,非常具有實(shí)用價(jià)值,需要的朋友可以參考下
本文實(shí)例講述了Python使用scrapy采集數(shù)據(jù)過(guò)程中放回下載過(guò)大頁(yè)面的方法。分享給大家供大家參考。具體分析如下：
添加以下代碼到settings.py，myproject為你的項(xiàng)目名稱
復(fù)制代碼 代碼如下:
DOWNLOADER_HTTPCLIENTFACTORY = 'myproject.downloader.LimitSizeHTTPClientFactory'
自定義限制下載過(guò)大頁(yè)面的模塊
復(fù)制代碼 代碼如下:
MAX_RESPONSE_SIZE = 1048576 # 1Mb
from scrapy.core.downloader.webclient import ScrapyHTTPClientFactory, ScrapyHTTPPageGetter
class LimitSizePageGetter(ScrapyHTTPPageGetter):
def handleHeader(self, key, value):
ScrapyHTTPPageGetter.handleHeader(self, key, value)
if key.lower() == 'content-length' and int(value) > MAX_RESPONSE_SIZE:
self.connectionLost('oversized')
class LimitSizeHTTPClientFactory(ScrapyHTTPClientFactory):
protocol = LimitSizePageGetter
from scrapy.core.downloader.webclient import ScrapyHTTPClientFactory, ScrapyHTTPPageGetter
class LimitSizePageGetter(ScrapyHTTPPageGetter):
def handleHeader(self, key, value):
ScrapyHTTPPageGetter.handleHeader(self, key, value)
if key.lower() == 'content-length' and int(value) > MAX_RESPONSE_SIZE:
self.connectionLost('oversized')
class LimitSizeHTTPClientFactory(ScrapyHTTPClientFactory):
protocol = LimitSizePageGetter
希望本文所述對(duì)大家的Python程序設(shè)計(jì)有所幫助。
相關(guān)文章
GUI功能是opencv的入門知識(shí)，本文給大家介紹下OpenCV圖像處理GUI功能，結(jié)合實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，感興趣的朋友一起看看吧2022-03-03
Python中turtle.write方法使用說(shuō)明
turtle模塊以面向?qū)ο蠛兔嫦蜻^(guò)程的方式提供turtle圖形基元,由于它使用Tkinter作為基礎(chǔ)圖形,因此需要安裝有Tk支持的Python版本,下面這篇文章主要給大家介紹了關(guān)于Python中turtle.write方法使用說(shuō)明的相關(guān)資料,需要的朋友可以參考下2022-02-02
Python替換NumPy數(shù)組中大于某個(gè)值的所有元素實(shí)例
這篇文章主要介紹了Python替換NumPy數(shù)組中大于某個(gè)值的所有元素實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-06-06
Python3實(shí)現(xiàn)網(wǎng)頁(yè)內(nèi)容轉(zhuǎn)換成PDF文檔和圖片
pdfkit是把 HTML+CSS 格式的文件轉(zhuǎn)換成 PDF 的一種工具，它是 wkhtmltopdf 這個(gè)工具包的 python 封裝。本文將利用pdfkit實(shí)現(xiàn)網(wǎng)頁(yè)內(nèi)容轉(zhuǎn)換成PDF文檔和圖片效果，感興趣的可以學(xué)習(xí)一下2022-06-06
linux環(huán)境下的python安裝過(guò)程圖解(含setuptools)
這篇文章主要介紹了linux環(huán)境下的python安裝過(guò)程圖解(含setuptools),小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2017-11-11
這篇文章主要介紹了Python3 replace()函數(shù)使用方法,需要的朋友可以參考下2018-03-03
在VS2017中用C#調(diào)用python腳本的實(shí)現(xiàn)
這篇文章主要介紹了在VS2017中用C#調(diào)用python腳本的實(shí)現(xiàn)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-07-07
如何使用Selenium實(shí)現(xiàn)簡(jiǎn)單的網(wǎng)絡(luò)自動(dòng)化操作指南
Selenium是一個(gè)用于Web應(yīng)用測(cè)試的工具,Selenium測(cè)試直接運(yùn)行在瀏覽器中,就像真正的用戶在操作一樣,這篇文章主要給大家介紹了關(guān)于如何使用Selenium實(shí)現(xiàn)簡(jiǎn)單的網(wǎng)絡(luò)自動(dòng)化操作的相關(guān)資料,需要的朋友可以參考下2024-03-03
這篇文章主要介紹了Python之os模塊案例詳解,本篇文章通過(guò)簡(jiǎn)要的案例,講解了該項(xiàng)技術(shù)的了解與使用,以下就是詳細(xì)內(nèi)容,需要的朋友可以參考下2021-09-09
python excel使用xlutils類庫(kù)實(shí)現(xiàn)追加寫功能的方法
今天小編就為大家?guī)?lái)一篇python excel使用xlutils類庫(kù)實(shí)現(xiàn)追加寫功能的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-05-05