使用Python的Scrapy框架十分鐘爬取美女圖
簡(jiǎn)介
scrapy 是一個(gè) python 下面功能豐富、使用快捷方便的爬蟲(chóng)框架。用 scrapy 可以快速的開(kāi)發(fā)一個(gè)簡(jiǎn)單的爬蟲(chóng)，官方給出的一個(gè)簡(jiǎn)單例子足以證明其強(qiáng)大：
快速開(kāi)發(fā)
下面開(kāi)始10分鐘倒計(jì)時(shí)：
當(dāng)然開(kāi)始前，可以先看看之前我們寫(xiě)過(guò)的 scrapy 入門(mén)文章 《零基礎(chǔ)寫(xiě)python爬蟲(chóng)之使用Scrapy框架編寫(xiě)爬蟲(chóng)
1. 初始化項(xiàng)目
scrapy startproject mzt cd mzt scrapy genspider meizitu meizitu.com
2. 添加 spider 代碼：
定義 scrapy.Item ，添加 image_urls 和 images ，為下載圖片做準(zhǔn)備。
修改 start_urls 為初始頁(yè)面, 添加 parse 用于處理列表頁(yè)， 添加 parse_item 處理項(xiàng)目頁(yè)面。
3. 修改配置文件：
DOWNLOAD_DELAY = 1 # 添加下載延遲配置
ITEM_PIPELINES = {'scrapy.pipelines.images.ImagesPipeline': 1} # 添加圖片下載 pipeline
IMAGES_STORE = '.' # 設(shè)置圖片保存目錄4. 運(yùn)行項(xiàng)目：
scrapy crawl meizitu
看，項(xiàng)目運(yùn)行效果圖
等待一會(huì)兒，就是收獲的時(shí)候了
總結(jié)
以上就是這篇文章的全部?jī)?nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作能帶來(lái)一定的幫助，如果有疑問(wèn)大家可以留言交流。
相關(guān)文章
本篇文章主要介紹了Python圖片裁剪實(shí)例代碼(如: 頭像裁剪)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2017-06-06
這篇文章主要介紹了Django中間件基礎(chǔ)用法詳解,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-07-07
python庫(kù)pydantic的簡(jiǎn)易入門(mén)教程
pydantic庫(kù)是一種常用的用于數(shù)據(jù)接口schema定義與檢查的庫(kù),通過(guò)pydantic庫(kù),我們可以更為規(guī)范地定義和使用數(shù)據(jù)接口,下面這篇文章主要給大家介紹了關(guān)于python庫(kù)pydantic的簡(jiǎn)易入門(mén)教程,需要的朋友可以參考下2022-03-03
pycharm配置pyqt5-tools開(kāi)發(fā)環(huán)境的方法步驟
這篇文章主要介紹了pycharm配置pyqt5-tools開(kāi)發(fā)環(huán)境的方法步驟，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2019-02-02
python導(dǎo)出requirements.txt的幾種方法以及環(huán)境配置詳細(xì)流程
這篇文章主要給大家介紹了關(guān)于python導(dǎo)出requirements.txt的幾種方法以及環(huán)境配置詳細(xì)流程,requirements.txt 文件是一個(gè)文本文件,用于列出你的Python項(xiàng)目所依賴(lài)的軟件包及其版本,需要的朋友可以參考下2023-11-11
Python圖形化界面基礎(chǔ)篇之如何使用彈出窗口和對(duì)話(huà)框
對(duì)于Python程序員來(lái)說(shuō),處理彈出窗口似乎并不是一個(gè)常見(jiàn)的任務(wù),這篇文章主要給大家介紹了關(guān)于Python圖形化界面基礎(chǔ)篇之如何使用彈出窗口和對(duì)話(huà)框的相關(guān)資料,需要的朋友可以參考下2024-03-03
自適應(yīng)線性神經(jīng)網(wǎng)絡(luò)Adaline的python實(shí)現(xiàn)詳解
這篇文章主要介紹了自適應(yīng)線性神經(jīng)網(wǎng)絡(luò)Adaline的python實(shí)現(xiàn)詳解,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-09-09
python Django編寫(xiě)接口并用Jmeter測(cè)試的方法
這篇文章主要介紹了python Django編寫(xiě)接口并用Jmeter測(cè)試,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-07-07
本文主要介紹了python爬蟲(chóng)的工作原理，具有很好的參考價(jià)值。下面跟著小編一起來(lái)看下吧2017-03-03
這篇文章主要介紹了利用Python腳本批量生成SQL語(yǔ)句，具有很好對(duì)參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-03-03