python scrapy腳本報(bào)錯(cuò)問(wèn)題及解決

更新時(shí)間：2024年02月08日 17:07:58 作者：鄭德帥

這篇文章主要介紹了python scrapy腳本報(bào)錯(cuò)問(wèn)題及解決,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教

python scrapy腳本報(bào)錯(cuò)

原本一個(gè)好好的爬蟲(chóng)腳本，最近運(yùn)行時(shí)突然報(bào)錯(cuò)：

報(bào)錯(cuò)代碼

如下：

File "e:\python3.7.1\lib\site-packages\scrapy\core\downloader\middleware.py", line 43, in process_request
defer.returnValue((yield download_func(request=request,spider=spider)))
twisted.web._newclient.ResponseNeverReceived: [<twisted.python.failure.Failure twisted.internet.error.ConnectionDone: Connection was closed cleanly.>]

分析報(bào)錯(cuò)

發(fā)送的請(qǐng)求未被接受，鏈接已斷開(kāi)

百度最終定位到是請(qǐng)求頭的原因：

原本的請(qǐng)求頭的HOST被換了，腳本發(fā)起請(qǐng)求時(shí)就被拒了，因此把請(qǐng)求頭修改就好了

解決scrapy需要批量啟動(dòng)多個(gè)腳本問(wèn)題,scrapy批量運(yùn)行腳本

問(wèn)題描述

今天遇到在遠(yuǎn)程服務(wù)器上，os 批量啟動(dòng)時(shí)存在啟動(dòng)不了的情況

問(wèn)題解決

批量啟動(dòng)有好多種方式，但是我個(gè)人主要用的有兩個(gè)，

當(dāng)?shù)谝粋€(gè)無(wú)法啟動(dòng)時(shí)，測(cè)試第二種啟動(dòng)方式，可以正常啟動(dòng)；

"""
批量啟動(dòng)
"""
# ------------------- 第一種  ----------------------------------------
import os


os.system("scrapy crawl Nj")
os.system("scrapy crawl Yanc")
os.system("scrapy crawl Hzs")

簡(jiǎn)單做個(gè)記錄吧。

第二種，是調(diào)用scrapy 系統(tǒng)自帶的方式

為了讓同一個(gè) Scrapy 項(xiàng)目下面的多個(gè)爬蟲(chóng)實(shí)現(xiàn)真正的同時(shí)運(yùn)行，我們可以使用 Scrapy 的CrawlerProcess。

它的用法如下：

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

settings = get_project_settings()

crawler = CrawlerProcess(settings)
crawler.crawl('爬蟲(chóng)名1')
crawler.crawl('爬蟲(chóng)名2')
crawler.crawl('爬蟲(chóng)名3')
crawler.start()

使用這種方法，可以在同一個(gè)進(jìn)程里面跑多個(gè)爬蟲(chóng)。

# --------------------  第二種  ------------------------------------

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

settings = get_project_settings()

crawler = CrawlerProcess(settings)
crawler.crawl('Nj')
crawler.crawl('Yanc')
crawler.crawl('Hzs')
crawler.start()

兩種方式都可以實(shí)現(xiàn)，scrapy 多個(gè)項(xiàng)目的批量啟動(dòng)