快捷導(dǎo)航

詳解Scrapy Redis入門實(shí)戰(zhàn)

更新時(shí)間：2020年11月18日 11:53:06 作者：pengjunlee

這篇文章主要介紹了詳解Scrapy Redis入門實(shí)戰(zhàn)，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧

簡(jiǎn)介

scrapy-redis是一個(gè)基于redis的scrapy組件，用于快速實(shí)現(xiàn)scrapy項(xiàng)目的分布式部署和數(shù)據(jù)爬取，其運(yùn)行原理如下圖所示。

Scrapy-Redis特性

分布式爬取

你可以啟動(dòng)多個(gè)共享同一redis隊(duì)列的爬蟲實(shí)例，多個(gè)爬蟲實(shí)例將各自提取到或者已請(qǐng)求的Requests在隊(duì)列中統(tǒng)一進(jìn)行登記，使得Scheduler在請(qǐng)求調(diào)度時(shí)能夠?qū)χ貜?fù)Requests進(jìn)行過濾，即保證已經(jīng)由某一個(gè)爬蟲實(shí)例請(qǐng)求過的Request將不會(huì)再被其他的爬蟲實(shí)例重復(fù)請(qǐng)求。

分布式數(shù)據(jù)處理

將scrapy爬取到的items匯聚到同一個(gè)redis隊(duì)列中，意味著你可以根據(jù)你的需要啟動(dòng)盡可能多的共享這個(gè)items隊(duì)列的后處理程序。

Scrapy即插即用組件

Scheduler調(diào)度器 + Duplication重復(fù)過濾器、Item Pipeline、基礎(chǔ)Spider爬蟲

Scrapy-Redis示例

本文將以爬取京東所有圖書分類下的圖書信息為例對(duì)Scrapy-Redis的用法進(jìn)行示例。

開發(fā)環(huán)境

Python 3.7
Redis 3.2.100

下面列舉出了 Python 中 Scrapy-Redis 所需要的各個(gè)模塊及其版本：

redis 2.10.6
redis-py-cluster 1.3.6
scrapy-redis 0.6.8
scrapy-redis-cluster 0.4

在開發(fā)之前需要先安裝好以上模塊，以scrapy-redis-cluster模塊為例，使用pip進(jìn)行安裝的命令如下：

pip install scrapy-redis-cluster # 安裝模塊
pip install scrapy-redis-cluster==0.4 # 安裝模塊時(shí)指定版本
pip install --upgrade scrapy-redis-cluster # 升級(jí)模塊版本

創(chuàng)建項(xiàng)目

在Windows命令行執(zhí)行如下命令完成項(xiàng)目創(chuàng)建：

d:\scrapy>scrapy startproject jd_book

執(zhí)行完該命令后，將會(huì)在當(dāng)前目錄下創(chuàng)建包含下列內(nèi)容的 jd_book 目錄：

定義Item

在items.py中把我們將要爬取的圖書字段預(yù)先定義好。

# -*- coding: utf-8 -*-

import scrapy

class JdBookItem(scrapy.Item):
  b_cate = scrapy.Field() # 圖書所屬一級(jí)分類名稱
  s_cate = scrapy.Field() # 圖書所屬二級(jí)分類名稱
  s_href = scrapy.Field() # 圖書所屬二級(jí)分類地址
  book_name = scrapy.Field() # 名稱
  book_img = scrapy.Field() # 封面圖片地址
  book_author = scrapy.Field() # 作者
  book_press = scrapy.Field() # 出版社
  book_publish_date = scrapy.Field() # 出版日期
  book_sku = scrapy.Field() # 商品編號(hào)
  book_price = scrapy.Field() # 價(jià)格

創(chuàng)建Spider

在Windows命令行執(zhí)行如下命令完成Spider創(chuàng)建：

d:\scrapy\jd_book>cd jd_book
d:\scrapy\jd_book>scrapy genspider jdbook jd.com

執(zhí)行完該命令后，將會(huì)在 jd_book 的 spiders 目錄下生成一個(gè) jdbook.py 文件：

jdbook.py的完整爬蟲代碼如下。

# -*- coding: utf-8 -*-
import scrapy
import json
import urllib
from copy import deepcopy
from jd_book.items import JdBookItem

class JdbookSpider(scrapy.Spider):
  name = 'jdbook'
  allowed_domains = ['jd.com','3.cn']
  start_urls = ['https://book.jd.com/booksort.html']

  def parse(self, response): # 處理圖書分類頁
    dt_list = response.xpath("http://div[@class='mc']/dl/dt") # 提取一級(jí)分類元素
    for dt in dt_list:
      item = JdBookItem()
      item["b_cate"] = dt.xpath("./a/text()").extract_first() # 提取一級(jí)分類名稱
      em_list = dt.xpath("./following-sibling::dd[1]/em") # 提取二級(jí)分類元素
      for em in em_list:
        item["s_cate"] = em.xpath("./a/text()").extract_first() # 提取二級(jí)分類名稱
        item["s_href"] = em.xpath("./a/@href").extract_first() # 提取二級(jí)分類地址
        if item["s_href"] is not None:
          item['s_href'] = "https:" + item['s_href'] # 補(bǔ)全二級(jí)分類地址
          yield scrapy.Request(item['s_href'], callback=self.parse_book_list, meta={"item": deepcopy(item)})

  def parse_book_list(self, response): # 處理二級(jí)分類下圖書列表頁
    item = response.meta['item']
    li_list = response.xpath("http://div[@id='plist']/ul/li") # 提取所有的圖書元素
    for li in li_list:
      item["book_img"] = li.xpath(".//div[@class='p-img']//img/@data-lazy-img").extract_first()
      if item["book_img"] is None:
        item["book_img"] = li.xpath(".//div[@class='p-img']//img/@src").extract_first()
      if item["book_img"] is not None:
        item["book_img"] = "https:"+item["book_img"]
      item["book_name"] = li.xpath(".//div[@class='p-name']/a/em/text()").extract_first().strip()
      item["book_author"] = li.xpath(".//span[@class='author_type_1']/a/text()").extract()
      item["book_press"] = li.xpath(".//span[@class='p-bi-store']/a/@title").extract_first()
      item["book_publish_date"] = li.xpath(".//span[@class='p-bi-date']/text()").extract_first().strip()
      item["book_sku"] = li.xpath("./div/@data-sku").extract_first()
      price_url = "https://p.3.cn/prices/mgets?skuIds=j_{}".format(item["book_sku"]) # 提取圖書價(jià)格請(qǐng)求地址
      yield scrapy.Request(price_url, callback=self.parse_book_price, meta={"item": deepcopy(item)})

    # 提取列表頁下一頁地址
    next_url = response.xpath("http://a[@class='pn-next']/@href").extract_first()
    if next_url is not None:
      next_url = urllib.parse.urljoin(response.url, next_url)
      # yield scrapy.Request(next_url,callback=self.parse_book_list,meta={"item":item})

  def parse_book_price(self, response):
    item = response.meta['item']
    item["book_price"] = json.loads(response.body.decode())[0]["op"]
    yield item

修改配置

在settings.py 中增加Scrapy-Redis相關(guān)配置。

# -*- coding: utf-8 -*-

BOT_NAME = 'jd_book'

SPIDER_MODULES = ['jd_book.spiders']
NEWSPIDER_MODULE = 'jd_book.spiders'

# Crawl responsibly by identifying yourself (and your website) on the user-agent
USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'

# Obey robots.txt rules
ROBOTSTXT_OBEY = False


######################################################
##############下面是Scrapy-Redis相關(guān)配置################
######################################################

# 指定Redis的主機(jī)名和端口
REDIS_HOST = 'localhost'
REDIS_PORT = 6379

# 調(diào)度器啟用Redis存儲(chǔ)Requests隊(duì)列
SCHEDULER = "scrapy_redis.scheduler.Scheduler"

# 確保所有的爬蟲實(shí)例使用Redis進(jìn)行重復(fù)過濾
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"

# 將Requests隊(duì)列持久化到Redis，可支持暫?；蛑貑⑴老x
SCHEDULER_PERSIST = True

# Requests的調(diào)度策略，默認(rèn)優(yōu)先級(jí)隊(duì)列
SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.PriorityQueue'

# 將爬取到的items保存到Redis 以便進(jìn)行后續(xù)處理
ITEM_PIPELINES = {
  'scrapy_redis.pipelines.RedisPipeline': 300
}

啟動(dòng)爬蟲

至此京東圖書項(xiàng)目就算配置完成了，你可以將項(xiàng)目部署到多臺(tái)服務(wù)器中去，并使用如下命令來啟動(dòng)爬蟲：