# Standard Python library imports
# 3rd party modules
import pymongo
from scrapy import log
from scrapy.conf import settings
from scrapy.exceptions import DropItem
class MongoDBPipeline(object):
  def __init__(self):
    self.server = settings['MONGODB_SERVER']
    self.port = settings['MONGODB_PORT']
    self.db = settings['MONGODB_DB']
    self.col = settings['MONGODB_COLLECTION']
    connection = pymongo.Connection(self.server, self.port)
    db = connection[self.db]
    self.collection = db[self.col]
  def process_item(self, item, spider):
    err_msg = ''
    for field, data in item.items():
      if not data:
        err_msg += 'Missing %s of poem from %s\n' % (field, item['url'])
    if err_msg:
      raise DropItem(err_msg)
    self.collection.insert(dict(item))
    log.msg('Item written to MongoDB database %s/%s' % (self.db, self.col),
        level=log.DEBUG, spider=spider)
    return item

希望本文所述對大家的python程序設(shè)計有所幫助。

您可能感興趣的文章:

相關(guān)文章

Python設(shè)置Socket代理及實現(xiàn)遠程攝像頭控制的例子
這篇文章主要介紹了Python設(shè)置Socket代理及實現(xiàn)遠程攝像頭控制的例子,皆是對socket模塊的實際運用,需要的朋友可以參考下
2015-11-11
Python字典和集合編程技巧大總結(jié)
這篇文章主要給大家介紹了關(guān)于Python字典和集合編程技巧的相關(guān)資料,Python中的字典和集合是兩種非常常用的數(shù)據(jù)結(jié)構(gòu),它們可以幫助我們更方便地管理和操作數(shù)據(jù),需要的朋友可以參考下
2023-09-09
Python 在字符串中加入變量的實例講解
下面小編就為大家分享一篇Python 在字符串中加入變量的實例講解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2018-05-05
Python科學(xué)計算環(huán)境推薦——Anaconda
最近在用Python做中文自然語言處理。使用的IDE是PyCharm。PyCharm確實是Python開發(fā)之首選，但用于科學(xué)計算方面，還略有欠缺。為此我嘗試過Enthought Canopy，但Canopy感覺把問題搞得復(fù)雜化，管理Python擴展也不太方便。直到今天我發(fā)現(xiàn)了 Anaconda 。
2014-06-06
python基于socket進行端口轉(zhuǎn)發(fā)實現(xiàn)后門隱藏的示例
今天小編就為大家分享一篇python基于socket進行端口轉(zhuǎn)發(fā)實現(xiàn)后門隱藏的示例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2019-07-07
Python入門之字典的使用教程
Python字典是一種可變?nèi)萜髂Ｐ?，且可存儲任意類型對象，如字符串、?shù)字、元組等其他容器模型。本文將為大家詳細講講字典的使用教程，需要的可以參考一下
2022-09-09
Python3+Pycharm+PyQt5環(huán)境搭建步驟圖文詳解
這篇文章主要介紹了Python3+Pycharm+PyQt5環(huán)境搭建步驟圖文詳解,本文給大家介紹的非常詳細，具有一定的參考借鑒價值，需要的朋友可以參考下
2019-05-05
Python3.7黑帽編程之病毒篇（基礎(chǔ)篇）
這篇文章主要介紹了Python3.7黑帽編程之病毒篇（基礎(chǔ)篇），文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2020-02-02
Python基于lxml模塊解析html獲取頁面內(nèi)所有葉子節(jié)點xpath路徑功能示例
這篇文章主要介紹了Python基于lxml模塊解析html獲取頁面內(nèi)所有葉子節(jié)點xpath路徑功能,結(jié)合實例形式較為詳細的分析了Python使用lxml模塊進行xml節(jié)點數(shù)據(jù)解析的相關(guān)操作技巧與注意事項,需要的朋友可以參考下
2018-05-05
Python隨機生成帶特殊字符的密碼
這篇文章主要介紹了Python隨機生成帶特殊字符的密碼的相關(guān)資料,需要的朋友可以參考下
2016-03-03