快速部署 Scrapy項目 scrapyd

給服務(wù)端 install scrapyd

pip install scrapyd  -i https://pypi.tuna.tsinghua.edu.cn/simple

運行

scrapyd

修改配置項 ， 以便遠程訪問

使用Ctrl +c 停止 上一步的運行的scrapyd

在要運行scrapyd 命令的路徑下，新建文件scrapyd.cnf 文件

輸入以下內(nèi)容

[scrapyd]
# 網(wǎng)頁和Json服務(wù)監(jiān)聽的IP地址，默認為127.0.0.1（只有改成0.0.0.0 才能在別的電腦上能夠訪問scrapyd運行之后的服務(wù)器）
bind_address = 0.0.0.0
# 監(jiān)聽的端口，默認為6800
http_port   = 6800
# 是否打開debug模式，默認為off
debug = off

在客戶端 install scrapyd-client

​ 1. 安裝 scrapy-client 命令如下

pip install scrapyd-client  -i https://pypi.tuna.tsinghua.edu.cn/simple

配置Scrapy 項目

​ 修改 scrapy.cfg 文件

1 檢查配置

scrapyd-deploay -l

發(fā)布scrapy項目到scrapyd所在的服務(wù)器（此時爬蟲未運行）

# scrapyd-deploy <target> -p <project> --version <version>
# taget : 就是前面配置文件里的deploy后面的的target名字，例如 ubuntu1
# project: 可以隨意定義， 建議與 scrapy 爬蟲項目名相同
# version: 自定義版本號 不寫的話默認為當(dāng)前時間戳， 一般不寫
scrapyd-deploy ubuntu-1 -p douban

注意

爬蟲目錄下不要放無關(guān)的py文件，放無關(guān)的py文件會導(dǎo)致發(fā)布失敗，但是當(dāng)爬蟲發(fā)布成功后，會在當(dāng)前目錄生成一個setup.py文件，可以刪除掉。

4.發(fā)送運行爬蟲命令

curl http://10.211.55.5:6800/schedule.json -d project=douban -d spider=top250

5.停止爬蟲

curl http://ip:6800/cancel.json -d project=項目名 -d job=任務(wù)的id值

curl http://10.211.55.5:6800/cancel.json -d project=douban -d job=121cc034388a11ebb1a7001c42d0a249

注意

1. 如果scrapy項目代碼，修改了，只需要重新發(fā)布到scrapyd所在服務(wù)器即可
2. 如果scrapy項目暫停了，可以再次通過curl的方式發(fā)送命令讓其“斷點續(xù)爬”

Scrapy項目部署-圖形化操作Gerapy

一，說明

Gerapy 是一款國人開發(fā)的爬蟲管理軟件（有中文界面）是一個管理爬蟲項目的可視化工具，把項目部署到管理的操作全部變?yōu)榻换ナ?，實現(xiàn)批量部署，更方便控制、管理、實時查看結(jié)果。

gerapy和scrapyd的關(guān)系就是，我們可以通過gerapy中配置scrapyd后，不使用命令，直接通過圖形化界面開啟爬蟲。

二，安裝

命令 (安裝在 爬蟲代碼 上傳端)

pip install gerapy  -i https://pypi.tuna.tsinghua.edu.cn/simple

測試

三，使用

創(chuàng)建一個gerapy工作目錄

gerapy init

生成文件夾，如下

創(chuàng)建splite 數(shù)據(jù)庫， 存放部署scrapy 項目版本

gerapy migrate

創(chuàng)建成功之后，用tree命令，查看當(dāng)前的文件列表

創(chuàng)建用戶密碼

啟動服務(wù)

gerapy runserver

到此這篇關(guān)于快速部署 Scrapy項目 scrapyd的文章就介紹到這了,更多相關(guān)Scrapy項目 scrapyd內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評論