欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

scrapy中的spider傳參實(shí)現(xiàn)增量的方法

 更新時(shí)間:2022年06月12日 10:13:34   作者:retime123  
有時(shí)候需要根據(jù)項(xiàng)目的實(shí)際需求向spider傳遞參數(shù)來(lái)控制spider的運(yùn)行方式,本文主要介紹了scrapy中的spider傳參實(shí)現(xiàn)增量的方法,具有一定的參考價(jià)值,感興趣的可以了解一下

有時(shí)候需要根據(jù)項(xiàng)目的實(shí)際需求向spider傳遞參數(shù)來(lái)控制spider的運(yùn)行方式。

比如說(shuō),1.根據(jù)用戶(hù)提交的url來(lái)控制spider爬取的網(wǎng)站。2.根據(jù)需求增量爬取數(shù)據(jù)。

今天就寫(xiě)一個(gè)增量(augmenter)的方式:

Spider參數(shù)通過(guò) crawl 命令的 -a 選項(xiàng)來(lái)傳遞,比如:

scrapy crawl xxx -a augmenter=xxxxxx

注:augmenter=不為空

1.首先在spider里添加

注:在網(wǎng)上也看了不少的博客,最后發(fā)現(xiàn)*args, **kwargs這兩個(gè)必須加上,要不然會(huì)出現(xiàn)bug,不信的話(huà)可以試試哦!

如果想減少代碼量的話(huà),可以寫(xiě)到類(lèi)里面去繼承!那這樣的話(huà),spider里面就不要在寫(xiě)了?。。∫蝗痪筒黄鹱饔昧耍。。?/p>

還有

super(eval(self.__class__.__name__), self).__init__(*args, **kwargs)

這里的eval()獲取的是類(lèi)名,這樣寫(xiě)必須是最后一個(gè)是你要的類(lèi)名,中間有繼承什么的,就會(huì)出錯(cuò)!或者直接把類(lèi)名粘過(guò)來(lái)!

2.spider實(shí)現(xiàn)方式:

這樣就實(shí)現(xiàn)了簡(jiǎn)單的增量!增量的方式有很多,常見(jiàn)的:時(shí)間、計(jì)數(shù)、爬取特定的幾頁(yè)!

選擇自己需要的增量方式寫(xiě)在這個(gè)parse_augmenter()里面,

這樣需要從頭開(kāi)始run和增量run就不受影響!

到此這篇關(guān)于scrapy中的spider傳參實(shí)現(xiàn)增量的方法的文章就介紹到這了,更多相關(guān)scrapy spider傳參增量?jī)?nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • Python判斷是否json是否包含一個(gè)key的方法

    Python判斷是否json是否包含一個(gè)key的方法

    今天小編就為大家分享一篇Python判斷是否json是否包含一個(gè)key的方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2018-12-12
  • python模塊之subprocess模塊級(jí)方法的使用

    python模塊之subprocess模塊級(jí)方法的使用

    這篇文章主要介紹了python模塊之subprocess模塊級(jí)方法的使用,小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧
    2019-03-03
  • Django后臺(tái)獲取前端post上傳的文件方法

    Django后臺(tái)獲取前端post上傳的文件方法

    今天小編就為大家分享一篇Django后臺(tái)獲取前端post上傳的文件方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2018-05-05
  • 利用Python進(jìn)行微服務(wù)架構(gòu)的監(jiān)控與日志分析

    利用Python進(jìn)行微服務(wù)架構(gòu)的監(jiān)控與日志分析

    Python作為一種強(qiáng)大的編程語(yǔ)言,提供了豐富的工具和庫(kù),可以幫助我們實(shí)現(xiàn)對(duì)微服務(wù)架構(gòu)的監(jiān)控和日志分析,本文將介紹如何利用Python編寫(xiě)監(jiān)控腳本和日志分析程序,以便于更好地管理和維護(hù)微服務(wù)系統(tǒng)
    2024-03-03
  • Python 調(diào)用 Windows API COM 新法

    Python 調(diào)用 Windows API COM 新法

    Python中調(diào)用Win32API 通常都是使用 PyWin32或者ctypes。本文給大家介紹Python 調(diào)用 Windows API COM 新法,感興趣的朋友跟隨小編一起看看吧
    2019-08-08
  • pyqt環(huán)境搭建教程

    pyqt環(huán)境搭建教程

    pyqt是一個(gè)用于創(chuàng)建GUI應(yīng)用程序的跨平臺(tái)工具包,它將python與qt庫(kù)融為一體,本文給大家分享pyqt環(huán)境搭建教程,感興趣的朋友一起看看吧
    2023-11-11
  • python游戲的魅力之冒險(xiǎn)島實(shí)戰(zhàn)項(xiàng)目

    python游戲的魅力之冒險(xiǎn)島實(shí)戰(zhàn)項(xiàng)目

    我看了一眼沉迷《夢(mèng)幻國(guó)度》的兒子!氣就不打一處來(lái)!讓你見(jiàn)識(shí)一下Python游戲的魅力,python實(shí)戰(zhàn)冒險(xiǎn)島游戲碼起,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值
    2021-09-09
  • 解決Django提交表單報(bào)錯(cuò):CSRF token missing or incorrect的問(wèn)題

    解決Django提交表單報(bào)錯(cuò):CSRF token missing or incorrect的問(wèn)題

    這篇文章主要介紹了解決Django提交表單報(bào)錯(cuò):CSRF token missing or incorrect的問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2020-03-03
  • 深入理解python中的淺拷貝和深拷貝

    深入理解python中的淺拷貝和深拷貝

    下面小編就為大家?guī)?lái)一篇深入理解python中的淺拷貝和深拷貝。小編覺(jué)得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧
    2016-05-05
  • python修改字典鍵(key)的方法

    python修改字典鍵(key)的方法

    在本篇文章里小編給大家整理的是關(guān)于python修改字典鍵(key)的方法以及相關(guān)知識(shí)點(diǎn),需要的朋友們參考下。
    2019-08-08

最新評(píng)論