欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python之Scrapy爬蟲框架安裝及簡單使用詳解

 更新時間：2017年12月22日 09:50:25   作者：leerh  
這篇文章主要介紹了Python之Scrapy爬蟲框架安裝及簡單使用詳解，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧

題記：早已聽聞python爬蟲框架的大名。近些天學習了下其中的Scrapy爬蟲框架，將自己理解的跟大家分享。有表述不當之處，望大神們斧正。

一、初窺Scrapy

Scrapy是一個為了爬取網站數(shù)據(jù)，提取結構性數(shù)據(jù)而編寫的應用框架。 可以應用在包括數(shù)據(jù)挖掘，信息處理或存儲歷史數(shù)據(jù)等一系列的程序中。

其最初是為了頁面抓取(更確切來說,網絡抓取)所設計的， 也可以應用在獲取API所返回的數(shù)據(jù)(例如Amazon Associates Web Services) 或者通用的網絡爬蟲。

本文檔將通過介紹Scrapy背后的概念使您對其工作原理有所了解， 并確定Scrapy是否是您所需要的。

當您準備好開始您的項目后，您可以參考入門教程。

二、Scrapy安裝介紹

Scrapy框架運行平臺及相關輔助工具

  1. Python2.7（Python最新版3.5，這里選擇了2.7版本）
  2. Python Package:pipandsetuptools. 現(xiàn)在pip依賴setuptools，如果未安裝，則會自動安裝setuptools。
  3. lxml. 大多數(shù)Linux發(fā)行版自帶了lxml。如果缺失，請查看http://lxml.de/installation.html
  4. OpenSSL. 除了Windows(請查看平臺安裝指南)之外的系統(tǒng)都已經提供。

您可以使用pip來安裝Scrapy(推薦使用pip來安裝Python package).

pip install Scrapy

Windows下安裝流程：

1、安裝Python 2.7之后，您需要修改PATH環(huán)境變量，將Python的可執(zhí)行程序及額外的腳本添加到系統(tǒng)路徑中。將以下路徑添加到PATH中:

C:\Python27\;C:\Python27\Scripts\;

除此之外，還可以用cmd命令來設置Path：

c:\python27\python.exe c:\python27\tools\scripts\win_add2path.py

安裝配置完成之后，可以執(zhí)行命令python --version查看安裝的python版本。（如圖所示）

2、從http://sourceforge.net/projects/pywin32/安裝pywin32

請確認下載符合您系統(tǒng)的版本(win32或者amd64)

從https://pip.pypa.io/en/latest/installing.html安裝pip

3、打開命令行窗口，確認pip被正確安裝:

pip --version

4、到目前為止Python 2.7 及pip已經可以正確運行了。接下來安裝Scrapy:

pip install Scrapy

至此windows下Scrapy安裝已經結束。

三、Scrapy入門教程

1、在cmd中創(chuàng)建Scrapy項目工程。

scrapy startproject tutorial

H:\python\scrapyDemo>scrapy startproject tutorial
New Scrapy project 'tutorial', using template directory 'f:\\python27\\lib\\site-packages\\scrapy\\templates\\project', created in:
  H:\python\scrapyDemo\tutorial

You can start your first spider with:
  cd tutorial
  scrapy genspider example example.com

2、文件目錄結構如下：

。

解析scrapy框架結構：

  1. scrapy.cfg: 項目的配置文件。
  2. tutorial/: 該項目的python模塊。之后您將在此加入代碼。
  3. tutorial/items.py: 項目中的item文件。
  4. tutorial/pipelines.py: 項目中的pipelines文件。
  5. tutorial/settings.py: 項目的設置文件。
  6. tutorial/spiders/: 放置spider代碼的目錄。

3、編寫簡單的爬蟲

1、在item.py中配置需采集頁面的字段實例。

# -*- coding: utf-8 -*-
# Define here the models for your scraped items
#
# See documentation in:
# http://doc.scrapy.org/en/latest/topics/items.html
import scrapy
from scrapy.item import Item, Field
class TutorialItem(Item):
  title = Field()
  author = Field()
  releasedate = Field()

2、在tutorial/spiders/spider.py中書寫要采集的網站以及分別采集各字段。

# -*-coding:utf-8-*-
import sys
from scrapy.linkextractors.sgml import SgmlLinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from tutorial.items import TutorialItem
reload(sys)
sys.setdefaultencoding("utf-8")
class ListSpider(CrawlSpider):
  # 爬蟲名稱
  name = "tutorial"
  # 設置下載延時
  download_delay = 1
  # 允許域名
  allowed_domains = ["news.cnblogs.com"]
  # 開始URL
  start_urls = [
    "https://news.cnblogs.com"
  ]
  # 爬取規(guī)則,不帶callback表示向該類url遞歸爬取
  rules = (
    Rule(SgmlLinkExtractor(allow=(r'https://news.cnblogs.com/n/page/\d',))),
    Rule(SgmlLinkExtractor(allow=(r'https://news.cnblogs.com/n/\d+',)), callback='parse_content'),
  )

  # 解析內容函數(shù)
  def parse_content(self, response):
    item = TutorialItem()

    # 當前URL
    title = response.selector.xpath('//div[@id="news_title"]')[0].extract().decode('utf-8')
    item['title'] = title

    author = response.selector.xpath('//div[@id="news_info"]/span/a/text()')[0].extract().decode('utf-8')
    item['author'] = author

    releasedate = response.selector.xpath('//div[@id="news_info"]/span[@class="time"]/text()')[0].extract().decode(
      'utf-8')
    item['releasedate'] = releasedate

    yield item

3、在tutorial/pipelines.py管道中保存數(shù)據(jù)。

# -*- coding: utf-8 -*-
# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html
import json
import codecs
class TutorialPipeline(object):
  def __init__(self):
    self.file = codecs.open('data.json', mode='wb', encoding='utf-8')#數(shù)據(jù)存儲到data.json

  def process_item(self, item, spider):
    line = json.dumps(dict(item)) + "\n"
    self.file.write(line.decode("unicode_escape"))

    return item

4、tutorial/settings.py中配置執(zhí)行環(huán)境。

# -*- coding: utf-8 -*-
BOT_NAME = 'tutorial'
SPIDER_MODULES = ['tutorial.spiders']
NEWSPIDER_MODULE = 'tutorial.spiders'

# 禁止cookies,防止被ban
COOKIES_ENABLED = False
COOKIES_ENABLES = False

# 設置Pipeline,此處實現(xiàn)數(shù)據(jù)寫入文件
ITEM_PIPELINES = {
  'tutorial.pipelines.TutorialPipeline': 300
}

# 設置爬蟲爬取的最大深度
DEPTH_LIMIT = 100

5、新建main文件執(zhí)行爬蟲代碼。

from scrapy import cmdline
cmdline.execute("scrapy crawl tutorial".split())

最終，執(zhí)行main.py后在data.json文件中獲取到采集結果的json數(shù)據(jù)。

以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。

相關文章

最新評論