快捷導(dǎo)航

解決Pymongo insert時會自動添加_id的問題

更新時間：2020年12月05日 10:56:14 作者：microfat992

這篇文章主要介紹了解決Pymongo insert時會自動添加_id的問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧

在使用pymongo時遇到了一個小坑：

在Flask框架中，將字典插入mongodb后再返回就報錯

@app.route('xxxx')
def main():
 ...
 data = {
 'a':'a',
 'b':'b'
 }
 mycol.insert_one(data)
 return data

Traceback (most recent call last):
 File "/home/xiang/.local/lib/python3.6/site-packages/flask/app.py", line 2464, in __call__
 return self.wsgi_app(environ, start_response)
 File "/home/xiang/.local/lib/python3.6/site-packages/flask/app.py", line 2450, in wsgi_app
 response = self.handle_exception(e)
 File "/home/xiang/.local/lib/python3.6/site-packages/flask/app.py", line 1867, in handle_exception
 reraise(exc_type, exc_value, tb)
 File "/home/xiang/.local/lib/python3.6/site-packages/flask/_compat.py", line 39, in reraise
 raise value
 File "/home/xiang/.local/lib/python3.6/site-packages/flask/app.py", line 2447, in wsgi_app
 response = self.full_dispatch_request()
 File "/home/xiang/.local/lib/python3.6/site-packages/flask/app.py", line 1953, in full_dispatch_request
 return self.finalize_request(rv)
 File "/home/xiang/.local/lib/python3.6/site-packages/flask/app.py", line 1968, in finalize_request
 response = self.make_response(rv)
 File "/home/xiang/.local/lib/python3.6/site-packages/flask/app.py", line 2112, in make_response
 rv = jsonify(rv)
 File "/home/xiang/.local/lib/python3.6/site-packages/flask/json/__init__.py", line 370, in jsonify
 dumps(data, indent=indent, separators=separators) + "\n",
 File "/home/xiang/.local/lib/python3.6/site-packages/flask/json/__init__.py", line 211, in dumps
 rv = _json.dumps(obj, **kwargs)
 File "/home/xiang/.local/lib/python3.6/site-packages/simplejson/__init__.py", line 412, in dumps
 **kw).encode(obj)
 File "/home/xiang/.local/lib/python3.6/site-packages/simplejson/encoder.py", line 298, in encode
 chunks = list(chunks)
 File "/home/xiang/.local/lib/python3.6/site-packages/simplejson/encoder.py", line 696, in _iterencode
 for chunk in _iterencode_dict(o, _current_indent_level):
 File "/home/xiang/.local/lib/python3.6/site-packages/simplejson/encoder.py", line 652, in _iterencode_dict
 for chunk in chunks:
 File "/home/xiang/.local/lib/python3.6/site-packages/simplejson/encoder.py", line 716, in _iterencode
 o = _default(o)
 File "/home/xiang/.local/lib/python3.6/site-packages/flask/json/__init__.py", line 100, in default
 return _json.JSONEncoder.default(self, o)
 File "/home/xiang/.local/lib/python3.6/site-packages/simplejson/encoder.py", line 273, in default
 o.__class__.__name__)
TypeError: Object of type ObjectId is not JSON serializable

這是由于pymongo在進(jìn)行插入操作時，如果字典中沒有‘_id'，會自動添加‘_id'，而它的值為ObjectId實例，flask在對返回值進(jìn)行編碼時無法編碼ObjectId類型實例，所以報錯，解決辦法就是去掉‘_id'或者mycol.insert_one(data.copy())

補(bǔ)充知識：pymongo去重: 插入數(shù)據(jù)時,不存在則插入,存在則不執(zhí)行

爬蟲想把爬取的數(shù)據(jù)存入到mongoDB中, 這時候經(jīng)常遇到的一個需求就是插入的數(shù)據(jù)已經(jīng)存在數(shù)據(jù)庫中, 因此插入前去重就是一個經(jīng)常性的課題.

我的想法是：

如果數(shù)據(jù)庫中已經(jīng)存在這個數(shù)據(jù), 那么就什么也不操作

如果數(shù)據(jù)不存在, 則插入這個數(shù)據(jù)

為了實現(xiàn)這個想法, 查了很多文獻(xiàn), 發(fā)現(xiàn)使用update 可以實現(xiàn)

下面就是我測試的代碼

# 首先在數(shù)據(jù)中插入一條數(shù)據(jù)
document = {
  'p_id': 'f75046d73a0c4bf88f0b7342e60722c4',
  'c_name': 'Ken',
  'c_star': '5.0',
  'bought': None,
  'c_time': '2017年3月23日',
  'c_userful': 13,
  'c_comment': ['４歳になるトイプードル用に購入。', '今までエサは床に食器直置きで與えていましたが、食後にむせていることがたびたび目撃されたので', '「もしかして食べづらいのでは？」と思い調(diào)べてみたところ、この商品にたどり著きました。', '足が長いので食事中は頭が完全に下に向いており、胃や足腰に負(fù)擔(dān)がかかっていたと思われます。'],
  'gmt_create': datetime.now().strftime('%Y-%m-%d %H:%M:%S'),
}
collection.insert(document)

通過mongoDB可視化工具查看數(shù)據(jù)庫,發(fā)現(xiàn)數(shù)據(jù)已經(jīng)存在

要實現(xiàn)如果不存在就插入，如果存在就不插入的要求，我們需要用到 update的一個參數(shù)：‘$setOnInsert'

$setOnInsert官方文檔點擊查看

通過閱讀官方文檔我們可以發(fā)現(xiàn) 與$setOnInsert方法想配合的最重要的參數(shù)就是 upsert:True

update源碼中的upsert參數(shù)默認(rèn)為False，只需要將update方法的upsert參數(shù)修改為True是否就能達(dá)到需要的效果呢？

現(xiàn)在我們執(zhí)行相同數(shù)據(jù)的插入看看效果

# 首先需要限定一個重復(fù)的條件,比如我們想除了gmt_create參數(shù)以外,全部不一樣就算不重復(fù), 先限定一個條件
result_find = {
  'p_id': 'f75046d73a0c4bf88f0b7342e60722c4',
  'c_name': 'Ken',
  'c_star': '5.0',
  'bought': None,
  'c_time': '2017年3月23日',
  'c_userful': 13,
  'c_comment': ['４歳になるトイプードル用に購入。', '今までエサは床に食器直置きで與えていましたが、食後にむせていることがたびたび目撃されたので',
         '「もしかして食べづらいのでは？」と思い調(diào)べてみたところ、この商品にたどり著きました。', '足が長いので食事中は頭が完全に下に向いており、胃や足腰に負(fù)擔(dān)がかかっていたと思われます。']
}
# 執(zhí)行 update
collection.update(
  result_find,
  {'$setOnInsert': document},
  upsert=True
)

執(zhí)行完之后, 去數(shù)據(jù)庫中查看,發(fā)現(xiàn)還是原來的那條數(shù)據(jù), 并沒有多出一條來, 說明可以實現(xiàn) 如果存在就不操作的要求

那么能實現(xiàn) 如果不存在就插入的要求嗎?

我們?nèi)?shù)據(jù)庫可視化工具中把數(shù)據(jù)庫中的數(shù)據(jù)刪除, 然后執(zhí)行下面操作

document = {
  'p_id': 'f75046d73a0c4bf88f0b7342e60722c4',
  'c_name': 'Ken',
  'c_star': '5.0',
  'bought': None,
  'c_time': '2017年3月23日',
  'c_userful': 13,
  'c_comment': ['４歳になるトイプードル用に購入。', '今までエサは床に食器直置きで與えていましたが、食後にむせていることがたびたび目撃されたので', '「もしかして食べづらいのでは？」と思い調(diào)べてみたところ、この商品にたどり著きました。', '足が長いので食事中は頭が完全に下に向いており、胃や足腰に負(fù)擔(dān)がかかっていたと思われます。'],
  'gmt_create': datetime.now().strftime('%Y-%m-%d %H:%M:%S'),
}

result_find = {
  'p_id': 'f75046d73a0c4bf88f0b7342e60722c4',
  'c_name': 'Ken',
  'c_star': '5.0',
  'bought': None,
  'c_time': '2017年3月23日',
  'c_userful': 13,
  'c_comment': ['４歳になるトイプードル用に購入。', '今までエサは床に食器直置きで與えていましたが、食後にむせていることがたびたび目撃されたので',
         '「もしかして食べづらいのでは？」と思い調(diào)べてみたところ、この商品にたどり著きました。', '足が長いので食事中は頭が完全に下に向いており、胃や足腰に負(fù)擔(dān)がかかっていたと思われます。']
}

# collection.insert(document)
collection.update(
  result_find,
  {'$setOnInsert': document},
  upsert=True
)

然后我們發(fā)現(xiàn)數(shù)據(jù)中出現(xiàn)了我們想看到的這條數(shù)據(jù)

所以, 實現(xiàn)了我們的要求: 存在則不操作, 不存在則插入.

以上這篇解決Pymongo insert時會自動添加_id的問題就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。

您可能感興趣的文章: