欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python:Scrapy框架中Item Pipeline組件使用詳解

 更新時間:2017年12月27日 09:26:47   作者:曾是土木人  
這篇文章主要介紹了Python:Scrapy框架中Item Pipeline組件使用詳解,具有一定借鑒價值,需要的朋友可以參考下

Item Pipeline簡介

Item管道的主要責(zé)任是負責(zé)處理有蜘蛛從網(wǎng)頁中抽取的Item,他的主要任務(wù)是清晰、驗證和存儲數(shù)據(jù)。
當(dāng)頁面被蜘蛛解析后,將被發(fā)送到Item管道,并經(jīng)過幾個特定的次序處理數(shù)據(jù)。
每個Item管道的組件都是有一個簡單的方法組成的Python類。
他們獲取了Item并執(zhí)行他們的方法,同時他們還需要確定的是是否需要在Item管道中繼續(xù)執(zhí)行下一步或是直接丟棄掉不處理。

Item管道通常執(zhí)行的過程有

清理HTML數(shù)據(jù)
驗證解析到的數(shù)據(jù)(檢查Item是否包含必要的字段)
檢查是否是重復(fù)數(shù)據(jù)(如果重復(fù)就刪除)
將解析到的數(shù)據(jù)存儲到數(shù)據(jù)庫中

編寫自己的Item Pipeline

編寫item管道其實是很容易的。
每個Item管道的組件都是由一個簡單的方法組成的Python類:

process_item(item, spider)

每一個item管道組件都會調(diào)用該方法,并且必須返回一個item對象實例或raise DropItem異常。
被丟掉的item將不會在管道組件進行執(zhí)行
此外,我們也可以在類中實現(xiàn)以下方法

open_spider(spider)

當(dāng)spider執(zhí)行的時候?qū)⒄{(diào)用該方法

close_spider(spider)

當(dāng)spider關(guān)閉的時候?qū)⒄{(diào)用該方法
Item Pipeline例子

代碼如下:

from scrapy.exceptions import DropItem 
 
class PricePipeline(object): 
 
  vat_factor = 1.15 
 
  def process_item(self, item, spider): 
    if item['price']: 
      if item['price_excludes_vat']: 
        item['price'] = item['price'] * self.vat_factor 
      return item 
    else: 
      raise DropItem("Missing price in %s" % item) 

注:VAT:ValueAddedTax(增值稅)

以上代碼可以過濾那些沒有價格的產(chǎn)品,并且對那些不包括增值稅產(chǎn)品的價格進行調(diào)整

將抓取的items以json格式保存到文件中

從spider抓取到的items將被序列化為json格式,并且以每行一個item的形式被寫入到items.jl文件中

代碼:

import json 
 
class JsonWriterPipeline(object): 
 
  def __init__(self): 
    self.file = open('items.jl', 'wb') 
 
  def process_item(self, item, spider): 
    line = json.dumps(dict(item)) + "\n" 
    self.file.write(line) 
    return item 

注:JsonWriterPipeline的目的是介紹如何編寫項目管道。如果想要保存抓取的items到j(luò)son文件中,推薦使用Feedexports

刪除重復(fù)項

假設(shè)在spider中提取到的item有重復(fù)的id,那么我們就可以在process_item函數(shù)中進行過濾

如:

from scrapy.exceptions import DropItem 
 
class DuplicatesPipeline(object): 
 
  def __init__(self): 
    self.ids_seen = set() 
 
  def process_item(self, item, spider): 
    if item['id'] in self.ids_seen: 
      raise DropItem("Duplicate item found: %s" % item) 
    else: 
      self.ids_seen.add(item['id']) 
      return item 

激活I(lǐng)temPipeline組件

在settings.py文件中,往ITEM_PIPELINES中添加項目管道的類名,就可以激活項目管道組件

如:

ITEM_PIPELINES = { 
  'myproject.pipeline.PricePipeline': 300, 
  'myproject.pipeline.JsonWriterPipeline': 800, 
} 

The integer values you assign to classes in this setting determine the order they run in- items go through pipelines from order number low to high

整數(shù)值通常設(shè)置在0-1000之間

總結(jié)

以上就是本文關(guān)于Python:Scrapy框架中Item Pipeline組件使用詳解的全部內(nèi)容,希望對大家有所幫助。感興趣的朋友可以繼續(xù)參閱本站:

Python使用Scrapy保存控制臺信息到文本解析

Python爬蟲實例爬取網(wǎng)站搞笑段子

Python爬蟲獲取整個站點中的所有外部鏈接代碼示例

如有不足之處,歡迎留言指出。感謝朋友們對本站的支持!

相關(guān)文章

  • 詳解Python函數(shù)中的幾種參數(shù)

    詳解Python函數(shù)中的幾種參數(shù)

    這篇文章主要為大家介紹了Python參數(shù)的使用,具有一定的參考價值,感興趣的小伙伴們可以參考一下,希望能夠給你帶來幫助
    2021-12-12
  • 解決Django no such table: django_session的問題

    解決Django no such table: django_session的問題

    這篇文章主要介紹了解決Django no such table: django_session的問題,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-04-04
  • python3 實現(xiàn)在運行的時候隱藏命令窗口

    python3 實現(xiàn)在運行的時候隱藏命令窗口

    這篇文章主要介紹了python3 實現(xiàn)在運行的時候隱藏命令窗口方式,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教
    2021-05-05
  • 在Python中操作文件之read()方法的使用教程

    在Python中操作文件之read()方法的使用教程

    這篇文章主要介紹了在Python中操作文件之read()方法的使用教程,是Python入門學(xué)習(xí)中的基礎(chǔ)知識,需要的朋友可以參考下
    2015-05-05
  • python處理xls文件openpyxl基礎(chǔ)操作

    python處理xls文件openpyxl基礎(chǔ)操作

    這篇文章主要為大家介紹了python處理xls文件openpyxl基礎(chǔ)操作,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪
    2023-08-08
  • 卷積神經(jīng)網(wǎng)絡(luò)CharCNN實現(xiàn)中文情感分類任務(wù)

    卷積神經(jīng)網(wǎng)絡(luò)CharCNN實現(xiàn)中文情感分類任務(wù)

    這篇文章主要為大家介紹了卷積神經(jīng)網(wǎng)絡(luò)CharCNN實現(xiàn)中文情感分類任務(wù)詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪
    2023-04-04
  • 使用Python實現(xiàn)首頁通知功能

    使用Python實現(xiàn)首頁通知功能

    這篇文章主要為大家詳細介紹了如何使用Python實現(xiàn)首頁通知功能,文中的示例代碼講解詳細,具有一定的借鑒價值,有需要的小伙伴可以跟隨小編一起學(xué)習(xí)一下
    2024-02-02
  • python EasyOCR庫實例用法介紹

    python EasyOCR庫實例用法介紹

    在本篇文章里小編給大家整理的是一篇關(guān)于python EasyOCR庫實例用法介紹,有需要的朋友們可以跟著學(xué)習(xí)下。
    2021-07-07
  • Django調(diào)用支付寶接口代碼實例詳解

    Django調(diào)用支付寶接口代碼實例詳解

    這篇文章主要介紹了Django調(diào)用支付寶接口代碼實例詳解,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
    2020-04-04
  • Python實現(xiàn)蒙特卡洛算法小實驗過程詳解

    Python實現(xiàn)蒙特卡洛算法小實驗過程詳解

    這篇文章主要介紹了Python實現(xiàn)基于蒙特卡洛算法過程詳解,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
    2019-07-07

最新評論