欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

MongoDB游標(biāo)超時問題的4種解決方法

 更新時間:2019年09月05日 15:50:38   作者:青南  
這篇文章主要給大家介紹了關(guān)于MongoDB游標(biāo)超時問題的4種解決方法,文中通過示例代碼介紹的非常詳細(xì),對大家學(xué)習(xí)或者使用MongoDB具有一定的參考學(xué)習(xí)價值,需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧

當(dāng)我們使用Python從MongoDB里面讀取數(shù)據(jù)時,可能會這樣寫代碼:

import pymongo

handler = pymongo.MongoClient().db.col

for row in handler.find():
 parse_data(row)

短短4行代碼,讀取MongoDB里面的每一行數(shù)據(jù),然后傳入parse_data做處理。處理完成以后再讀取下一行。邏輯清晰而簡單,能有什么問題?只要parse_data(row)不報錯,這一段代碼就完美無缺。

但事實(shí)并非這樣。

你的代碼可能會在for row in handler.find()這一行報錯。它的原因,說來話長。

要解釋這個問題,我們首先就需要知道,handler.find()返回的并不是數(shù)據(jù)庫里面的數(shù)據(jù),而是一個游標(biāo)(cursor)對象。如下圖所示:

只有當(dāng)你使用for循環(huán)開始迭代它的時候,游標(biāo)才會真正去數(shù)據(jù)庫里面讀取數(shù)據(jù)。

但是,如果每一次循環(huán)都連接數(shù)據(jù)庫,那么網(wǎng)絡(luò)連接會浪費(fèi)大量時間。

所以pymongo會一次性獲取100行,for row in handler.find()循環(huán)第一次的時候,它會連上MongoDB,讀取一百條數(shù)據(jù),緩存到內(nèi)存中。于是第2-100次循環(huán),數(shù)據(jù)都是直接從內(nèi)存里面獲取,不會再連接數(shù)據(jù)庫。

當(dāng)循環(huán)進(jìn)行到底101次的時候,再一次連接數(shù)據(jù)庫,再讀取第101-200行內(nèi)容……

這個邏輯非常有效地降低了網(wǎng)絡(luò)I/O耗時。

但是,MongoDB默認(rèn)游標(biāo)的超時時間是10分鐘。10分鐘之內(nèi),必需再次連接MongoDB讀取內(nèi)容刷新游標(biāo)時間,否則,就會導(dǎo)

致游標(biāo)超時報錯:

pymongo.errors.CursorNotFound: cursor id 211526444773 not found

如下圖所示:

所以,回到最開始的代碼中來,如果parse_data每次執(zhí)行的時間超過6秒鐘,那么它執(zhí)行100次的時間就會超過10分鐘。此時,當(dāng)程序想讀取第101行數(shù)據(jù)的時候,程序就會報錯。

為了解決這個問題,我們有4種辦法:

  1. 修改MongoDB的配置,延長游標(biāo)超時時間,并重啟MongoDB。由于生產(chǎn)環(huán)境的MongoDB不能隨便重啟,所以這個方案雖然有用,但是排除。
  2. 一次性把數(shù)據(jù)全部讀取下來,再做處理:
all_data = [row for row in handler.find()]

for row in all_data:
 parse(row)

這種方案的弊端也很明顯,如果數(shù)據(jù)量非常大,你不一定能全部放到內(nèi)存里面。即使能夠全部放到內(nèi)存中,但是列表推導(dǎo)式遍歷了所有數(shù)據(jù),緊接著for循環(huán)又遍歷一次,浪費(fèi)時間。

  3.讓游標(biāo)每次返回的數(shù)據(jù)小于100條,這樣消費(fèi)完這一批數(shù)據(jù)的時間就會小于10分鐘:

# 每次連接數(shù)據(jù)庫,只返回50行數(shù)據(jù)
for row in handler.find().batch_size(50): 
 parse_data(row)

但這種方案會增加數(shù)據(jù)庫的連接次數(shù),從而增加I/O耗時。

  4.讓游標(biāo)永不超時。通過設(shè)定參數(shù)no_cursor_timeout=True,讓游標(biāo)永不超時:

cursor = handler.find(no_cursor_timeout=True)
for row in cursor:
 parse_data(row)
cursor.close() # 一定要手動關(guān)閉游標(biāo)

然而這個操作非常危險,因?yàn)槿绻愕腜ython程序因?yàn)槟撤N原因意外停止了,這個游標(biāo)就再也無法關(guān)閉了!除非重啟MongoDB,否則這些游標(biāo)會一直留在MongoDB上,占用資源。

當(dāng)然可能有人會說,使用try...except把讀取數(shù)據(jù)的地方包住,只要拋出了異常,在處理異常的時候關(guān)閉游標(biāo)即可:

cursor = handler.find(no_cursor_timeout=True)
try:
 for row in cursor:
 parse_data(row)
except Exception:
 parse_exception()
finally:
 cursor.close() # 一定要手動關(guān)閉游標(biāo)

其中finally里面的代碼,無論有沒有異常,都會執(zhí)行。

但這樣寫會讓代碼非常難看。為了解決這個問題,我們可以使用游標(biāo)的上下文管理器:

with handler.find(no_cursor_timeout=True) as cursor:
 for row in cursor:
  parse_data(row)

只要程序退出了with的縮進(jìn),游標(biāo)自動就會關(guān)閉。如果程序中途報錯,游標(biāo)也會關(guān)閉。

它的原理可以用下面兩段代碼來解釋:

class Test:
 def __init__(self):
  self.x = 1

 def echo(self):
  print(self.x)

 def __enter__(self):
  print('進(jìn)入上下文')
  return self

 def __exit__(self, *args):
  print('退出上下文')
  
with Test() as t:
 t.echo()
print('退出縮進(jìn)')

運(yùn)行效果如下圖所示:

接下來在with的縮進(jìn)里面人為制造異常:

class Test:
 def __init__(self):
  self.x = 1

 def echo(self):
  print(self.x)

 def __enter__(self):
  print('進(jìn)入上下文')
  return self

 def __exit__(self, *args):
  print('退出上下文')
  
with Test() as t:
 t.echo()
 1 + 'a' # 這里一定會報錯
print('退出縮進(jìn)')

運(yùn)行效果如下圖所示:

無論在with的縮進(jìn)里面發(fā)生了什么,Test這個類中的__exit__里面的代碼始終都會運(yùn)行。

我們來看看pymongo的游標(biāo)對象里面,__exit__是怎么寫的,如下圖所示:

可以看到,這里正是關(guān)閉游標(biāo)的操作。

因此,如果我們使用上下文管理器,就可以放心大膽地使用no_cursor_timeout=True參數(shù)了。

總結(jié)

以上就是這篇文章的全部內(nèi)容了,希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,謝謝大家對腳本之家的支持。

相關(guān)文章

  • MongoDB數(shù)據(jù)庫用戶角色和權(quán)限管理詳解

    MongoDB數(shù)據(jù)庫用戶角色和權(quán)限管理詳解

    這篇文章主要給大家介紹了關(guān)于MongoDB數(shù)據(jù)庫用戶角色和權(quán)限管理的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2020-11-11
  • MongoDB 語法使用小結(jié)

    MongoDB 語法使用小結(jié)

    MongoDB是一個介于關(guān)系數(shù)據(jù)庫和非關(guān)系數(shù)據(jù)庫之間的產(chǎn)品,是非關(guān)系數(shù)據(jù)庫當(dāng)中功能最豐富,最像關(guān)系數(shù)據(jù)庫的
    2011-10-10
  • Mongodb在UPDATE操作中使用$push向數(shù)組中插入數(shù)據(jù)的方法

    Mongodb在UPDATE操作中使用$push向數(shù)組中插入數(shù)據(jù)的方法

    在update操作中,使用$push操作符向數(shù)組中插入新的元素,按照相應(yīng)的語法,使用$push操作符,下面通過本文給大家分享Mongodb在UPDATE操作中使用$push向數(shù)組中插入數(shù)據(jù)的方法,感興趣的朋友一起看看吧
    2024-06-06
  • 關(guān)于mongoDB數(shù)據(jù)庫添加賬號的問題

    關(guān)于mongoDB數(shù)據(jù)庫添加賬號的問題

    這篇文章主要介紹了mongoDB數(shù)據(jù)庫添加賬號的問題,本文給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下
    2022-02-02
  • MongoDB性能篇之創(chuàng)建索引,組合索引,唯一索引,刪除索引和explain執(zhí)行計劃

    MongoDB性能篇之創(chuàng)建索引,組合索引,唯一索引,刪除索引和explain執(zhí)行計劃

    這篇文章主要介紹了MongoDB性能篇之創(chuàng)建索引,組合索引,唯一索引,刪除索引和explain執(zhí)行計劃的相關(guān)資料,需要的朋友可以參考下
    2016-02-02
  • MongoDB日志切割的三種方式總結(jié)

    MongoDB日志切割的三種方式總結(jié)

    mongo默認(rèn)是沒有進(jìn)行日志分割的,所有的日志持續(xù)寫到一個文件中,缺點(diǎn)是很明顯的,日志文件會越來越大,下面這篇文章主要給大家介紹了關(guān)于MongoDB日志切割的三種方式,需要的朋友可以參考下
    2021-09-09
  • MongoDB中的bson介紹和使用實(shí)例

    MongoDB中的bson介紹和使用實(shí)例

    這篇文章主要介紹了MongoDB中的bson介紹和使用實(shí)例,本文講解了什么是bson、bson在MongoDB中的使用、幾個BSON的例子等內(nèi)容,需要的朋友可以參考下
    2015-05-05
  • Mongoose find 查詢返回json數(shù)據(jù)處理方式

    Mongoose find 查詢返回json數(shù)據(jù)處理方式

    這篇文章主要介紹了Mongoose find 查詢返回json數(shù)據(jù)處理方式,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教
    2023-04-04
  • MongoDB常用數(shù)據(jù)類型分享

    MongoDB常用數(shù)據(jù)類型分享

    這篇文章主要介紹了MongoDB常用數(shù)據(jù)類型,???JSON是一種簡單的數(shù)據(jù)表示方式,它易于理解、易于解析、易于記憶,?BSON是一種類JSON的二進(jìn)制形式的存儲格,更多類型需要的小伙伴可以參考下文詳細(xì)介紹
    2022-04-04
  • MongoDB釋放空閑空間的幾種常用方法

    MongoDB釋放空閑空間的幾種常用方法

    這篇文章主要給大家介紹了關(guān)于MongoDB釋放空閑空間的幾種常用方法,分別包括compact、db.repairDatabase()、secondary節(jié)點(diǎn)重同步以及db.copyDatabase()這幾種方法,需要的朋友可以參考借鑒,下面來一起看看吧
    2018-07-07

最新評論