一、scrapy爬蟲部署服務(wù)器

scrapy通過命令行運行一般只用于測試環(huán)境，而用于運用在生產(chǎn)環(huán)境則一般都部署在服務(wù)器中進行遠程操作。

scrapy部署服務(wù)器有一套完整的開源項目：scrapy+scrapyd(服務(wù)端)+scrapy-client(客戶端)+scrapydweb

1、scrapyd

1.介紹

Scrapyd是用于部署和運行Scrapy爬蟲的應(yīng)用程序。它使您可以使用JSON API部署（上傳）項目并控制其爬蟲。

是目前分布式爬蟲的最好解決方法之一

官方文檔 https://scrapyd.readthedocs.io/

2.安裝

pip install scrapyd

安裝過程中可能會遇到大量的錯誤，大部分都是所依賴的包沒有安裝，安裝過程中要確保scrapy已經(jīng)安裝成功，只要耐心的將所有缺少的依賴包安裝上就可以了

打開命令行，輸入scrapyd，如下圖：

瀏覽器訪問：http://127.0.0.1:6800/

2、scrapy-client

1.介紹：

scrapy-client它允許我們將本地的scrapy項目打包發(fā)送到scrapyd 這個服務(wù)端（前提是服務(wù)器scrapyd正常運行）

官方文檔https://pypi.org/project/scrapyd-client/

2.安裝

pip install scrapy-client

和上面的scrapyd一樣，可能會遇到各種錯誤，耐心一點，大部分都是安裝依賴

3、scrapydweb（可選）

1.介紹

ScrapydWeb：用于Scrapyd集群管理的Web應(yīng)用程序，支持Scrapy日志分析和可視化。

官方文檔：https://pypi.org/project/scrapydweb/

2.安裝

pip install scrapyd

在保持scrapyd掛起的情況下運行命令scrapydweb，也就是需要打開兩個doc窗口

運行命令scrapydweb，首次啟動將會在當前目錄下生成配置文件“scrapydweb_settings_v*.py”

更改配置文件
編輯配置文件，將ENABLE_LOGPARSER更改為False

添加訪問權(quán)限

SCRAPYD_SERVERS = [
    '127.0.0.1:6800',
    # 'username:password@localhost:6801#group',
    ('username', 'password', 'localhost', '6801', 'group'),
]

HTTP基本認證

ENABLE_AUTH = True
USERNAME = 'username'
PASSWORD = 'password'　

瀏覽器訪問：http://127.0.0.1:5000/1/servers/

二、實際操作（一切的操作都在scrapyd啟動的情況下）

1.上傳爬蟲

編輯scrapy.cfg,url是scrapyd服務(wù)器的位置，由于scrapyd在本地，所以是localhost。

注意：我們要切換到和scrapy.cfg同級目錄下，繼續(xù)以下操作

scrapyd-deploy

上圖表示運行成功！

以上的文件夾是成功后自動創(chuàng)建的（為什么之前的截圖有，我之前已經(jīng)測試過）

然后輸入以下命令上傳服務(wù)器

scrapyd-deploy demo -p qcjob

結(jié)構(gòu)：scrapyd-deploy -p （scrapyd-deploy <目標> -p <項目>）

運行成功的圖片

2.啟動爬蟲

cmd輸入（爬取一天內(nèi)關(guān)于java的職業(yè)需求）

curl http://localhost:6800/schedule.json -d project=qcjob -d spider=job -d key = java time=0

我編寫的爬蟲可以根據(jù)用戶輸入的參數(shù)來爬取數(shù)據(jù)

key=表示關(guān)鍵字（默認是全部）

time=表示時間（0=24小時，1=3天內(nèi)，2=一周內(nèi)，3=一個月內(nèi)，默認為0）

當然scrapyd強大之處在于可以用http方式控制爬蟲

http://localhost:6800/schedule.json?project=qcjob&spider=job&key=java&time=0 #POST

以下是用postmain進行模擬post請求。

然后進入http://127.0.0.1:6800/

點擊job，就可以查看爬蟲是否運行，和運行時間

從圖可以看出，這個爬蟲運行了9分31秒。

當然我們也可以從scrapydweb中查看和管理爬蟲瀏覽器訪問：http://127.0.0.1:5000/1/servers/

我們可以通過可視化界面來控制爬蟲運行，scrapyd可以啟動多個不同的爬蟲，一個爬蟲的多個版本啟動。是目前分布式爬蟲的最好解決方法?。。?/strong>