如何向scrapy中的spider傳遞參數(shù)的幾種方法
有時需要根據(jù)項目的實際需求向spider傳遞參數(shù)以控制spider的行為，比如說，根據(jù)用戶提交的url來控制spider爬取的網(wǎng)站。在這種情況下，可以使用兩種方法向spider傳遞參數(shù)。
第一種方法，在命令行用crawl控制spider爬取的時候，加上-a選項，例如：
scrapy crawl myspider -a category=electronics
然后在spider里這樣寫：
import scrapy
class MySpider(scrapy.Spider):
name = 'myspider'
def __init__(self, category=None, *args, **kwargs):
super(MySpider, self).__init__(*args, **kwargs)
self.start_urls = ['http://www.example.com/categories/%s' % category]
# ...
也就是在spider的構造函數(shù)里加上帶入的參數(shù)即可。
第二種方法，在用scrapyd控制spider的時候，可以向schedule.json發(fā)送-d選項加入?yún)?shù)，同樣的，也需要在spider的構造函數(shù)里如上寫法。例如：
$ curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider -d setting=DOWNLOAD_DELAY=2 -d arg1=val1
另外，如果需要在scrapy發(fā)出的request上加入?yún)?shù)，可以使用request的meta參數(shù)，然后就可以相應的在返回的respose對象中獲得傳入的參數(shù)。這在某些情況下相當有用，比如說需要確定這個url是哪個用戶請求爬取的，可以先用上面兩種方法之一將信息傳遞給spider，spider就可以把這個信息加入到request中，然后在相應的reponse中就可以將這個信息與從url的頁面中獲得的信息一起存入數(shù)據(jù)庫。例如：
def parse_page1(self, response):
item = MyItem()
item['main_url'] = response.url
request = scrapy.Request("http://www.example.com/some_page.html",
callback=self.parse_page2)
request.meta['item'] = item
return request
def parse_page2(self, response):
item = response.meta['item']
item['other_url'] = response.url
return item
到此這篇關于如何向scrapy中的spider傳遞參數(shù)的幾種方法的文章就介紹到這了,更多相關scrapy spider傳遞參數(shù)內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
不過下面可是我們開發(fā)產(chǎn)品初期的一些血淋淋的案例，更多的安全威脅可以看看北北同學的《python hack》PPT，里面提及了不只命令執(zhí)行的威脅，那些都是我們親身經(jīng)歷的代碼2013-02-02
pandas中的數(shù)據(jù)去重處理的實現(xiàn)方法
這篇文章主要介紹了pandas中的數(shù)據(jù)去重處理的實現(xiàn)方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-02-02
Python讀取txt內(nèi)容寫入xls格式excel中的方法
今天小編就為大家分享一篇Python讀取txt內(nèi)容寫入xls格式excel中的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-10-10
這篇文章主要介紹了詳解pandas的外部數(shù)據(jù)導入與常用方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-05-05
這篇文章主要介紹了Python的列表和列表算法，小編感覺這篇文章具有一定參考價值，需要的朋友可以了解下，希望能給你帶來幫助2021-08-08
本篇文章主要介紹了Python遍歷文件夾和讀寫文件的實現(xiàn)方法，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-05-05
今天小編就為大家分享一篇關于使用Python批量修改文件名的代碼實例，小編覺得內(nèi)容挺不錯的，現(xiàn)在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧2019-01-01
Python使用cx_Oracle模塊操作Oracle數(shù)據(jù)庫詳解
這篇文章主要介紹了Python使用cx_Oracle模塊操作Oracle數(shù)據(jù)庫,結合實例形式較為詳細的分析了cx_Oracle模塊的下載、安裝及針對Oracle數(shù)據(jù)庫的連接、執(zhí)行SQL語句、存儲過程等相關操作技巧,需要的朋友可以參考下2018-05-05
在本篇文章里小編給大家整理的是一篇關于Python3爬蟲中關于Ajax分析方法的總結，需要的朋友們可以學習下。2020-07-07
這篇文章主要介紹了Python自然語言處理之詞干,詞形與MaxMatch算法代碼詳解，涉及詞干提取，詞形還原，簡單總結了二者的區(qū)別和聯(lián)系，最后還分享了最大匹配算法的相關示例，具有一定參考價值，需要的朋友可以了解下。2017-11-11