Python爬蟲基礎講解之scrapy框架

更新時間：2021年06月17日 16:04:40 作者：松鼠愛吃餅干

scrapy是一個使用Python語言（基于Twisted框架）編寫的開源網(wǎng)絡爬蟲框架,目前由scrapinghub Ltd維護.Scrapy簡單易用、靈活易拓展、開發(fā)社區(qū)活躍，并且是跨平臺的.在Linux、MaxOS以及windows平臺都可以使用,需要的朋友可以參考下

網(wǎng)絡爬蟲

網(wǎng)絡爬蟲是指在互聯(lián)網(wǎng)上自動爬取網(wǎng)站內(nèi)容信息的程序，也被稱作網(wǎng)絡蜘蛛或網(wǎng)絡機器人。大型的爬蟲程序被廣泛應用于搜索引擎、數(shù)據(jù)挖掘等領域，個人用戶或企業(yè)也可以利用爬蟲收集對自身有價值的數(shù)據(jù)。

一個網(wǎng)絡爬蟲程序的基本執(zhí)行流程可以總結三個過程：請求數(shù)據(jù)，解析數(shù)據(jù)，保存數(shù)據(jù)

數(shù)據(jù)請求

請求的數(shù)據(jù)除了普通的HTML之外，還有json數(shù)據(jù)、字符串數(shù)據(jù)、圖片、視頻、音頻等。

解析數(shù)據(jù)

當一個數(shù)據(jù)下載完成后，對數(shù)據(jù)中的內(nèi)容進行分析，并提取出需要的數(shù)據(jù)，提取到的數(shù)據(jù)可以以多種形式保存起來，數(shù)據(jù)的格式有非常多種，常見的有csv、json、pickle等

保存數(shù)據(jù)

最后將數(shù)據(jù)以某種格式(CSV、JSON)寫入文件中，或存儲到數(shù)據(jù)庫（MySQL、MongoDB)中。同時保存為一種或者多種。

通常，我們想要獲取的數(shù)據(jù)并不只在一個頁面中，而是分布在多個頁面中，這些頁面彼此聯(lián)系，一個頁面中可能包含一個或多個到其他頁面的鏈接，提取完當前頁面中的數(shù)據(jù)后，還要把頁面中的某些鏈接也提取出來，然后對鏈接頁面進行爬取（循環(huán)1-3步驟)。

設計爬蟲程序時，還要考慮防止重復爬取相同頁面(URL去重)、網(wǎng)頁搜索策略（深度優(yōu)先或廣度優(yōu)先等)、爬蟲訪問邊界限定等一系列問題。

從頭開發(fā)一個爬蟲程序是一項煩瑣的工作，為了避免因制造輪子而消耗大量時間，在實際應用中我們可以選擇使用一些優(yōu)秀的爬蟲框架，使用框架可以降低開發(fā)成本，提高程序質(zhì)量，讓我們能夠?qū)Ｗ⒂跇I(yè)務邏輯（爬取有價值的數(shù)據(jù))。接下來，就帶你學習目前非常流行的開源爬蟲框架Scrapy。

scrapy安裝

scrapy官網(wǎng)：https://scrapy.org/
scrapy中文文檔：https://www.osgeo.cn/scrapy/intro/overview.html

安裝方式

在任意操作系統(tǒng)下，可以使用pip安裝Scrapy，例如：

pip install scrapy

安裝完成后我們需要測試安裝是否成功，通過如下步驟確認：

在終端中測試能否執(zhí)行scrapy這條命令

scrapy 2.4.0 - no active project
 
usage:
    scrapy <command>[options] [args]
 
Available commands :
    bench        Run quick benchmark test
    fetch        Fetch a URL using the scrapy down1oader
    genspider        Generate new spider using pre-defined temp1ates
    runspider        Run a self-contained spider (without creating a project)
    settings        Get settings values
    she11        Interactive scraping console
    startproject        create new project
    version        Print scrapy version
    view        open URL in browser,as seen by scrapy
 
    [ more ]        More commands available when run from project directory
 
use "scrapy <command> -h" to see more info about a command

輸入scrapy bench測試連通性，如果出現(xiàn)以下情況表示安裝成功：

通過了以上兩項檢測，說明Scrapy安裝成功了。如上所示，我們安裝的是當前最新版本2.4.0。

注意：

在安裝Scrapy的過程中可能會遇到缺少VC++等錯誤，可以安裝缺失模塊的離線包

成功安裝后，在CMD下運行scrapy出現(xiàn)上圖不算真正成功，檢測真正是否成功使用scrapybench測試，如果沒有提示錯誤，就代表成功安裝。

全局命令

scrapy 2.4.0 - no active project
 
usage:
  scrapy <command>[options] [args]
 
Available commands :
  bench      Run quick benchmark test #測試電腦性能
  fetch      Fetch a URL using the scrapy down1oader#將源代碼下載下來并顯示出來
  genspider      Generate new spider using pre-defined temp1ates#創(chuàng)建一個新的spider文件
  runspider      Run a self-contained spider (without creating a project)# 這個和通過craw1啟動爬蟲不同，scrapy runspider爬蟲文件名稱
  settings      Get settings values#獲取當前的配置信息
  she11      Interactive scraping console#進入scrapy 的交互模式
  startproject      create new project#創(chuàng)建爬蟲項目
  version      Print scrapy version#顯示scrapy框架的版本
  view      open URL in browser，as seen by scrapy#將網(wǎng)頁document內(nèi)容下載下來，并且在瀏覽器顯示出來
 
  [ more ]      More commands available when run from project directory
use "scrapy <command> -h" to see more info about a command

項目命令