欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

基于python3.7利用Motor來異步讀寫Mongodb提高效率(推薦)

 更新時間：2020年04月29日 09:17:50   作者：劉悅的技術(shù)博客  
Motor是一個異步mongodb driver，支持異步讀寫mongodb。它通常用在基于Tornado的異步web服務(wù)器中。這篇文章主要介紹了基于python3.7利用Motor來異步讀寫Mongodb提高效率,需要的朋友可以參考下

如果使用Python做大型海量數(shù)據(jù)批量任務(wù)時，并且backend用mongodb做數(shù)據(jù)儲存時，常常面臨大量讀寫數(shù)據(jù)庫的情況。尤其是大量更新任務(wù)，由于不能批量操作，我們知道pymongo是同步任務(wù)機(jī)制，相當(dāng)耗時。

如果采用多線程、多進(jìn)程的方案確實(shí)有效，但編寫麻煩、消耗系統(tǒng)資源大（pymongo還不允許fork線程中共用連接）。這里主要瓶頸在于IO，使用單線程異步操作就會效果很好。

Motor是一個異步mongodb driver，支持異步讀寫mongodb。它通常用在基于Tornado的異步web服務(wù)器中。

Motor同時支持使用asyncio（Python3.4以上標(biāo)準(zhǔn)庫）作為異步模型，使用起來十分方便。

我們來測試一下效率，使用傳統(tǒng)pymongo來進(jìn)行批量讀寫 mongo_test.py:

host = '127.0.0.1'
port = 27017
database = 'LiePin'

import time

start = time.clock()

from pymongo import MongoClient

connection = MongoClient(
 host,
 port
)
db = connection[database]

for doc in db.LiePin_Analysis1.find({}, ['_id', 'JobTitle', 'is_end']):
 db.LiePin_Analysis1.update_one({'_id': doc.get('_id')}, {
  '$set': {
   'is_end': 1
  }
 })

elapsed = (time.clock() - start)
print("Time used:",elapsed)

運(yùn)行一下，發(fā)現(xiàn)用了4秒左右

再使用motor以異步的形式來編寫腳本 motor_test.py

host = '127.0.0.1'
port = 27017
database = 'LiePin'

import time

start = time.clock()

import asyncio
from motor.motor_asyncio import AsyncIOMotorClient

connection = AsyncIOMotorClient(
 host,
 port
)
db = connection[database]

async def run():
 async for doc in db.LiePin_Analysis1.find({}, ['_id', 'JobTitle', 'is_end']):
  db.LiePin_Analysis1.update_one({'_id': doc.get('_id')}, {'$set': {'is_end':0}})

asyncio.get_event_loop().run_until_complete(run())

elapsed = (time.clock() - start)
print("Time used:",elapsed)

僅僅1秒左右就完成了任務(wù)

效率由此可見一斑

到此這篇關(guān)于基于python3.7利用Motor來異步讀寫Mongodb提高效率(推薦)的文章就介紹到這了,更多相關(guān)python異步讀寫Mongodb內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

相關(guān)文章

  • Python 腳本死鎖問題與解決方案

    Python 腳本死鎖問題與解決方案

    在腳本中,可以創(chuàng)建一個隊(duì)列來存儲子進(jìn)程的輸出,然后由主進(jìn)程從隊(duì)列中讀取輸出并進(jìn)行處理,這篇文章主要介紹了Python 腳本死鎖問題與解決方案,需要的朋友可以參考下
    2024-06-06
  • Python實(shí)現(xiàn)求解一元二次方程的方法示例

    Python實(shí)現(xiàn)求解一元二次方程的方法示例

    這篇文章主要介紹了Python實(shí)現(xiàn)求解一元二次方程的方法,涉及Python基于math包進(jìn)行數(shù)值運(yùn)算相關(guān)操作技巧,需要的朋友可以參考下
    2018-06-06
  • Python3?Loguru輸出日志工具的使用

    Python3?Loguru輸出日志工具的使用

    使用 Python 來寫程序或者腳本的話，常常遇到的問題就是需要對日志進(jìn)行刪除。一方面可以幫助我們在程序出問題的時候排除問題，二來可以幫助我們記錄需要關(guān)注的信息，這篇文章主要介紹了Python3?Loguru?相見恨晚的輸出日志工具,需要的朋友可以參考下
    2022-05-05
  • pytorch 使用單個GPU與多個GPU進(jìn)行訓(xùn)練與測試的方法

    pytorch 使用單個GPU與多個GPU進(jìn)行訓(xùn)練與測試的方法

    今天小編就為大家分享一篇pytorch 使用單個GPU與多個GPU進(jìn)行訓(xùn)練與測試的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
    2019-08-08
  • 詳解從Django Allauth中進(jìn)行登錄改造小結(jié)

    詳解從Django Allauth中進(jìn)行登錄改造小結(jié)

    這篇文章主要介紹了從 Django Allauth 中進(jìn)行登錄改造小結(jié)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2019-12-12
  • 深入理解Python中的真值和假值概念

    深入理解Python中的真值和假值概念

    在 Python 中,真值和假值是布爾類型的兩個唯一可能的值,本文將深入探討 Python 中的真值和假值概念,幫助你更好地理解和運(yùn)用它們,感興趣的可以了解一下
    2023-11-11
  • Python 實(shí)現(xiàn)自動登錄+點(diǎn)擊+滑動驗(yàn)證功能

    Python 實(shí)現(xiàn)自動登錄+點(diǎn)擊+滑動驗(yàn)證功能

    這篇文章主要介紹了Python 實(shí)現(xiàn)自動登錄+點(diǎn)擊+滑動驗(yàn)證功能，本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下
    2020-06-06
  • python基于?Web?實(shí)現(xiàn)?m3u8?視頻播放的實(shí)例

    python基于?Web?實(shí)現(xiàn)?m3u8?視頻播放的實(shí)例

    這篇文章主要介紹了python基于?Web?實(shí)現(xiàn)?m3u8?視頻播放的實(shí)例的相關(guān)資料,需要的朋友可以參考下
    2023-06-06
  • Pandas篩選DataFrame含有空值的數(shù)據(jù)行的實(shí)現(xiàn)

    Pandas篩選DataFrame含有空值的數(shù)據(jù)行的實(shí)現(xiàn)

    本文主要介紹了Pandas篩選DataFrame含有空值的數(shù)據(jù)行的實(shí)現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2022-07-07
  • 如何使用pyinstaller打包32位的exe程序

    如何使用pyinstaller打包32位的exe程序

    這篇文章主要介紹了如何使用pyinstaller打包32位的exe程序，本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價值,需要的朋友可以參考下
    2019-05-05

最新評論