scrapy中的spider傳參實現(xiàn)增量的方法
有時候需要根據(jù)項目的實際需求向spider傳遞參數(shù)來控制spider的運行方式。
比如說，1.根據(jù)用戶提交的url來控制spider爬取的網(wǎng)站。2.根據(jù)需求增量爬取數(shù)據(jù)。
今天就寫一個增量（augmenter）的方式：
Spider參數(shù)通過 crawl 命令的 -a 選項來傳遞，比如：
scrapy crawl xxx -a augmenter=xxxxxx
注：augmenter=不為空
1.首先在spider里添加
注：在網(wǎng)上也看了不少的博客，最后發(fā)現(xiàn)*args, **kwargs這兩個必須加上，要不然會出現(xiàn)bug，不信的話可以試試哦！
如果想減少代碼量的話，可以寫到類里面去繼承！那這樣的話，spider里面就不要在寫了?。?！要不然就不起作用了?。。?/p>
還有
super(eval(self.__class__.__name__), self).__init__(*args, **kwargs)
這里的eval()獲取的是類名，這樣寫必須是最后一個是你要的類名，中間有繼承什么的，就會出錯！或者直接把類名粘過來！
2.spider實現(xiàn)方式：
這樣就實現(xiàn)了簡單的增量！增量的方式有很多，常見的：時間、計數(shù)、爬取特定的幾頁！
選擇自己需要的增量方式寫在這個parse_augmenter()里面，
這樣需要從頭開始run和增量run就不受影響！
到此這篇關(guān)于scrapy中的spider傳參實現(xiàn)增量的方法的文章就介紹到這了,更多相關(guān)scrapy spider傳參增量內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
今天小編就為大家分享一篇Python判斷是否json是否包含一個key的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-12-12
這篇文章主要介紹了python模塊之subprocess模塊級方法的使用，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2019-03-03
今天小編就為大家分享一篇Django后臺獲取前端post上傳的文件方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-05-05
利用Python進行微服務(wù)架構(gòu)的監(jiān)控與日志分析
Python作為一種強大的編程語言,提供了豐富的工具和庫,可以幫助我們實現(xiàn)對微服務(wù)架構(gòu)的監(jiān)控和日志分析,本文將介紹如何利用Python編寫監(jiān)控腳本和日志分析程序,以便于更好地管理和維護微服務(wù)系統(tǒng)2024-03-03
Python 調(diào)用 Windows API COM 新法
Python中調(diào)用Win32API 通常都是使用 PyWin32或者ctypes。本文給大家介紹Python 調(diào)用 Windows API COM 新法，感興趣的朋友跟隨小編一起看看吧2019-08-08
pyqt是一個用于創(chuàng)建GUI應(yīng)用程序的跨平臺工具包,它將python與qt庫融為一體,本文給大家分享pyqt環(huán)境搭建教程,感興趣的朋友一起看看吧2023-11-11
我看了一眼沉迷《夢幻國度》的兒子！氣就不打一處來！讓你見識一下Python游戲的魅力，python實戰(zhàn)冒險島游戲碼起，本文給大家介紹的非常詳細，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值2021-09-09
解決Django提交表單報錯:CSRF token missing or incorrect的問題
這篇文章主要介紹了解決Django提交表單報錯:CSRF token missing or incorrect的問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-03-03
下面小編就為大家?guī)硪黄钊肜斫鈖ython中的淺拷貝和深拷貝。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2016-05-05
在本篇文章里小編給大家整理的是關(guān)于python修改字典鍵（key）的方法以及相關(guān)知識點，需要的朋友們參考下。2019-08-08