Python必備shelve與dbm本地持久化存儲(chǔ)數(shù)據(jù)的兩個(gè)強(qiáng)大工具
shelve模塊
shelve
模塊提供了一個(gè)簡(jiǎn)單的存儲(chǔ)方式,類(lèi)似于字典,可以用字符串作為鍵,將任意Python對(duì)象作為值。它利用了pickle
模塊來(lái)實(shí)現(xiàn)對(duì)象的序列化與反序列化。下面看看如何使用shelve
來(lái)存儲(chǔ)和檢索數(shù)據(jù)。
數(shù)據(jù)存儲(chǔ):
import shelve # 創(chuàng)建一個(gè)shelve文件并寫(xiě)入數(shù)據(jù) with shelve.open('mydata') as shelf: shelf['key1'] = {'name': 'Alice', 'age': 25} shelf['key2'] = [1, 2, 3, 4]
數(shù)據(jù)檢索:
# 讀取shelve文件中的數(shù)據(jù) with shelve.open('mydata') as shelf: data1 = shelf['key1'] data2 = shelf['key2'] print(data1) print(data2)
shelve
模塊允許以簡(jiǎn)單的方式存儲(chǔ)和檢索數(shù)據(jù)。然而,需要注意的是,它并不支持多個(gè)程序同時(shí)對(duì)同一個(gè)shelve
文件進(jìn)行寫(xiě)操作。
dbm模塊
dbm
模塊提供了一個(gè)簡(jiǎn)單的持久化存儲(chǔ)方式,使用類(lèi)似字典的接口,但是它使用底層數(shù)據(jù)庫(kù)實(shí)現(xiàn)(如GNU dbm,BSD dbm,以及其它一些后端)。讓我們看一個(gè)使用dbm
模塊的示例。
數(shù)據(jù)存儲(chǔ):
import dbm # 創(chuàng)建一個(gè)dbm數(shù)據(jù)庫(kù)文件并寫(xiě)入數(shù)據(jù) with dbm.open('mydb', 'c') as db: db['key1'] = 'value1' db['key2'] = 'value2'
數(shù)據(jù)檢索:
# 讀取dbm數(shù)據(jù)庫(kù)中的數(shù)據(jù) with dbm.open('mydb', 'r') as db: data1 = db['key1'] data2 = db['key2'] print(data1) print(data2)
dbm
模塊類(lèi)似于shelve
,但是由于其底層使用不同的數(shù)據(jù)庫(kù)后端,它具有不同的特性和限制。
比較與選擇
shelve
和dbm
都是簡(jiǎn)單易用的模塊,但在選擇時(shí)需要考慮一些因素。shelve
的優(yōu)勢(shì)在于它能夠存儲(chǔ)任意Python對(duì)象,而dbm
只能存儲(chǔ)字節(jié)類(lèi)型。然而,dbm
在某些情況下可能會(huì)比shelve
更快,因?yàn)樗ǔJ腔贑語(yǔ)言的數(shù)據(jù)庫(kù)實(shí)現(xiàn)。
除了示例代碼外,還可以探討更多關(guān)于這兩個(gè)模塊的高級(jí)用法和最佳實(shí)踐。例如,處理大型數(shù)據(jù)集時(shí)如何優(yōu)化性能,如何處理并發(fā)訪問(wèn)以避免數(shù)據(jù)損壞等等。
高級(jí)用法
處理大型數(shù)據(jù)集
import shelve # 使用shelve存儲(chǔ)大型數(shù)據(jù)集 with shelve.open('largedata') as shelf: for i in range(100000): shelf[f'key{i}'] = f'value{i}'
并發(fā)訪問(wèn)處理
# 使用鎖處理并發(fā)訪問(wèn) import threading def write_data(key, value): with shelve.open('mydata') as shelf: shelf[key] = value # 創(chuàng)建多個(gè)線程同時(shí)寫(xiě)入數(shù)據(jù) threads = [] for i in range(5): thread = threading.Thread(target=write_data, args=(f'key{i}', f'value{i}')) threads.append(thread) thread.start() for thread in threads: thread.join()
在處理大型數(shù)據(jù)集時(shí),考慮分批次寫(xiě)入以降低系統(tǒng)負(fù)擔(dān)。對(duì)于并發(fā)訪問(wèn),使用鎖或者其他同步機(jī)制以避免數(shù)據(jù)損壞。
總結(jié)
shelve
和dbm
模塊為Python開(kāi)發(fā)人員提供了方便的本地存儲(chǔ)解決方案。在選擇使用哪個(gè)模塊時(shí),需要根據(jù)具體的需求和場(chǎng)景來(lái)權(quán)衡它們的優(yōu)勢(shì)和限制。本文提供了基礎(chǔ)示例代碼以及高級(jí)用法,希望能夠幫助更好地了解這兩個(gè)模塊,并在實(shí)際應(yīng)用中發(fā)揮它們的作用。
在實(shí)際項(xiàng)目中,可以根據(jù)需要深入研究這些模塊的更多功能,并根據(jù)實(shí)際場(chǎng)景做出相應(yīng)的優(yōu)化和調(diào)整。存儲(chǔ)數(shù)據(jù)是一個(gè)關(guān)鍵的任務(wù),選擇適當(dāng)?shù)墓ぞ呖梢詷O大地提高效率和性能。
以上就是Python必備shelve與dbm本地持久化存儲(chǔ)數(shù)據(jù)的兩個(gè)強(qiáng)大工具的詳細(xì)內(nèi)容,更多關(guān)于Python shelve dbm存儲(chǔ)的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
tensorflow實(shí)現(xiàn)KNN識(shí)別MNIST
這篇文章主要為大家詳細(xì)介紹了tensorflow實(shí)現(xiàn)KNN識(shí)別MNIST,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2018-03-03一篇文章帶你學(xué)習(xí)Python3的高階函數(shù)
這篇文章主要為大家詳細(xì)介紹了Python3的高階函數(shù),主要介紹什么是高階函數(shù),高階函數(shù)的用法以及幾個(gè)常見(jiàn)的內(nèi)置的高階函數(shù),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2022-01-01Python中elasticsearch插入和更新數(shù)據(jù)的實(shí)現(xiàn)方法
這篇文章主要介紹了Python中elasticsearch插入和更新數(shù)據(jù)的實(shí)現(xiàn)方法,需要的朋友可以參考下2018-04-04Python利用psutil庫(kù)進(jìn)行監(jiān)控進(jìn)程和資源
psutil是Python系統(tǒng)和進(jìn)程工具庫(kù),它提供了一種跨平臺(tái)的方式來(lái)獲取系統(tǒng)信息、管理系統(tǒng)進(jìn)程、監(jiān)控系統(tǒng)性能、操作系統(tǒng)資源等,下面就跟隨小編一起來(lái)學(xué)習(xí)psutil庫(kù)的具體應(yīng)用吧2024-01-01python獲取當(dāng)前用戶(hù)的主目錄路徑方法(推薦)
下面小編就為大家?guī)?lái)一篇python獲取當(dāng)前用戶(hù)的主目錄路徑方法(推薦)。小編覺(jué)得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2017-01-01復(fù)習(xí)Python中的字符串知識(shí)點(diǎn)
這篇文章主要介紹了Python中字符串的一些知識(shí)點(diǎn),來(lái)自于IBM官方網(wǎng)站技術(shù)文檔,需要的朋友可以參考下2015-04-04用Python批量把文件復(fù)制到另一個(gè)文件夾的實(shí)現(xiàn)方法
這篇文章主要介紹了用Python批量把文件復(fù)制到另一個(gè)文件夾的實(shí)現(xiàn)方法,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-08-08最新PyCharm 2021.3.1永久激活碼(親測(cè)有效)
今天又有朋友反應(yīng)PyCharm2021提示激活碼過(guò)期了,下面再為大家分享一個(gè)2022年01月08日更新PyCharm2021最新激活碼,需要的朋友可以參考下2020-11-11