Python爬蟲框架scrapy實現(xiàn)的文件下載功能示例
本文實例講述了Python爬蟲框架scrapy實現(xiàn)的文件下載功能。分享給大家供大家參考,具體如下:
我們在寫普通腳本的時候,從一個網(wǎng)站拿到一個文件的下載url,然后下載,直接將數(shù)據(jù)寫入文件或者保存下來,但是這個需要我們自己一點一點的寫出來,而且反復(fù)利用率并不高,為了不重復(fù)造輪子,scrapy提供很流暢的下載文件方式,只需要隨便寫寫便可用了。
mat.py文件
# -*- coding: utf-8 -*- import scrapy from scrapy.linkextractor import LinkExtractor from weidashang.items import matplotlib class MatSpider(scrapy.Spider): name = "mat" allowed_domains = ["matplotlib.org"] start_urls = ['https://matplotlib.org/examples'] def parse(self, response): #抓取每個腳本文件的訪問頁面,拿到后下載 link = LinkExtractor(restrict_css='div.toctree-wrapper.compound li.toctree-l2') for link in link.extract_links(response): yield scrapy.Request(url=link.url,callback=self.example) def example(self,response): #進入每個腳本的頁面,抓取源碼文件按鈕,并和base_url結(jié)合起來形成一個完整的url href = response.css('a.reference.external::attr(href)').extract_first() url = response.urljoin(href) example = matplotlib() example['file_urls'] = [url] return example
pipelines.py
class MyFilePlipeline(FilesPipeline): def file_path(self, request, response=None, info=None): path = urlparse(request.url).path return join(basename(dirname(path)),basename(path))
settings.py
ITEM_PIPELINES = { 'weidashang.pipelines.MyFilePlipeline': 1, } FILES_STORE = 'examples_src'
items.py
class matplotlib(Item): file_urls = Field() files = Field()
run.py
from scrapy.cmdline import execute execute(['scrapy', 'crawl', 'mat','-o','example.json'])
更多關(guān)于Python相關(guān)內(nèi)容可查看本站專題:《Python Socket編程技巧總結(jié)》、《Python正則表達式用法總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》
希望本文所述對大家Python程序設(shè)計有所幫助。
相關(guān)文章
pd.DataFrame統(tǒng)計各列數(shù)值多少的實例
今天小編就為大家分享一篇pd.DataFrame統(tǒng)計各列數(shù)值多少的實例,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-12-12使用python獲取CPU和內(nèi)存信息的思路與實現(xiàn)(linux系統(tǒng))
這篇文章主要介紹了python獲取CPU和內(nèi)存信息的思路與實現(xiàn),有需要的朋友可以參考一下2014-01-01Python棧算法的實現(xiàn)與簡單應(yīng)用示例
這篇文章主要介紹了Python棧算法的實現(xiàn)與簡單應(yīng)用,簡單講述了棧的原理并結(jié)合實例形式給出了基于棧實現(xiàn)的進制轉(zhuǎn)換與括號匹配等相關(guān)使用技巧,需要的朋友可以參考下2017-11-11詳解Django的model查詢操作與查詢性能優(yōu)化
這篇文章主要介紹了詳解Django的model查詢操作與查詢性能優(yōu)化,小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧2018-10-10使用Python的Twisted框架構(gòu)建非阻塞下載程序的實例教程
Twisted的異步工作模式使其在非阻塞情況下可以擁有較高的性能,這里我們來看一下使用Python的Twisted框架構(gòu)建非阻塞下載程序的實例教程,包括服務(wù)器端與客戶端的實踐.2016-05-05python正則表達式函數(shù)match()和search()的區(qū)別
match()和search()都是python中的正則匹配函數(shù),那這兩個函數(shù)有何區(qū)別呢?本文詳細介紹了這2個函數(shù)的區(qū)別2021-10-10