老生常談Python序列化和反序列化
通過(guò)將對(duì)象序列化可以將其存儲(chǔ)在變量或者文件中,可以保存當(dāng)時(shí)對(duì)象的狀態(tài),實(shí)現(xiàn)其生命周期的延長(zhǎng)。并且需要時(shí)可以再次將這個(gè)對(duì)象讀取出來(lái)。Python中有幾個(gè)常用模塊可實(shí)現(xiàn)這一功能。
pickle模塊
存儲(chǔ)在變量中
dumps(obj)返回存入的字節(jié)
dic = {'age': 23, 'job': 'student'}
byte_data = pickle.dumps(dic)
# out -> b'\x80\x03}q\x00(X\x03\x00\x00\...'
print(byte_data)
讀取數(shù)據(jù)
數(shù)據(jù)以字節(jié)保存在了byte_data變量中,需要再次使用的時(shí)候使用loads函數(shù)就行了。
obj = pickle.loads(byte_data) print(obj)
存儲(chǔ)在文件中
也可以存在文件中,使得對(duì)象持久化。使用的是dump和load函數(shù),注意和上面的區(qū)別,少了s。由于pickle寫(xiě)入的是二進(jìn)制數(shù)據(jù),所以打開(kāi)方式需要以wb和rb的模式。
# 序列化
with open('abc.pkl', 'wb') as f:
dic = {'age': 23, 'job': 'student'}
pickle.dump(dic, f)
# 反序列化
with open('abc.pkl', 'rb') as f:
aa = pickle.load(f)
print(aa)
print(type(aa)) # <class 'dict'>
序列化用戶自定義對(duì)象
假如我寫(xiě)了個(gè)類叫做Person
class Person:
def __init__(self, name, age, job):
self.name = name
self.age = age
self.job = job
def work(self):
print(self.name, 'is working...')
pickle當(dāng)然也能寫(xiě)入,不僅可以寫(xiě)入類本身,也能寫(xiě)入它的一個(gè)實(shí)例。
# 將實(shí)例存儲(chǔ)在變量中,當(dāng)然也能存在文件中
a_person = Person('abc', 22, 'waiter')
person_abc = pickle.dumps(a_person)
p = pickle.loads(person_abc)
p.work()
# 將類本身存儲(chǔ)在變量中,loads的時(shí)候返回類本身,而非它的一個(gè)實(shí)例
class_Person = pickle.dumps(Person)
Person = pickle.loads(class_Person)
p = Person('Bob', 23, 'Student')
p.work()
# 下面這個(gè)例子演示的就是將類存儲(chǔ)在文件中
# 序列化
with open('person.pkl', 'wb') as f:
pickle.dump(Person, f)
# 反序列化
with open('person.pkl', 'rb') as f:
Person = pickle.load(f)
aa = Person('gg', 23, '6')
aa.work()
json模塊
pickle可以很方便地序列化所有對(duì)象。不過(guò)json作為更為標(biāo)準(zhǔn)的格式,具有更好的可讀性(pickle是二進(jìn)制數(shù)據(jù))和跨平臺(tái)性。是個(gè)不錯(cuò)的選擇。
json使用的四個(gè)函數(shù)名和pickle一致。
序列化為字符串
dic = {'age': 23, 'job': 'student'}
dic_str = json.dumps(dic)
print(type(dic_str), dic_str)
# out: <class 'str'> {"age": 23, "job": "student"}
dic_obj = json.loads(dic_str)
print(type(dic_obj), dic_obj)
# out: <class 'dict'> {'age': 23, 'job': 'student'}
可以看到,dumps函數(shù)將對(duì)象轉(zhuǎn)換成了字符串。loads函數(shù)又將其恢復(fù)成字典。
存儲(chǔ)為json文件
也可以存儲(chǔ)在json文件中
dic = {'age': 23, 'job': 'student'}
with open('abc.json', 'w', encoding='utf-8') as f:
json.dump(dic, f)
with open('abc.json', encoding='utf-8') as f:
obj = json.load(f)
print(obj)
存儲(chǔ)自定義對(duì)象
還是上面的Person對(duì)象。如果直接序列化會(huì)報(bào)錯(cuò)
aa = Person('Bob', 23, 'Student')
with open('abc.json', 'w', encoding='utf-8') as f:
json.dump(aa, f) # 報(bào)錯(cuò)
Object of type 'Person' is not JSON serializable此時(shí)dump函數(shù)里傳一個(gè)參default就可以了,這個(gè)參數(shù)接受一個(gè)函數(shù),這個(gè)函數(shù)可以將對(duì)象轉(zhuǎn)換為字典。
寫(xiě)一個(gè)就是了
def person2dict(person):
return {'name': person.name,
'age': person.age,
'job': person.job}
這樣返回的就是一個(gè)字典了,對(duì)象實(shí)例有個(gè)方法可以簡(jiǎn)化這一過(guò)程。直接調(diào)用實(shí)例的__dict__。例如
print(aa.__dict) # {'name': 'Bob', 'age': 23, 'job': 'Student'}
很方便。
同時(shí)在讀取的時(shí)候load出來(lái)的是一個(gè)字典,再轉(zhuǎn)回對(duì)象就可,同樣需要一個(gè)object_hook參數(shù),該參數(shù)接收一個(gè)函數(shù),用于將字典轉(zhuǎn)為對(duì)象。
def dict2person(dic): return Person(dic['name'], dic['age'], dic['job'])
于是完整的程序應(yīng)該寫(xiě)成下面這樣
with open('abc.json', 'w', encoding='utf-8') as f:
json.dump(aa, f, default=person2dict)
with open('abc.json', encoding='utf-8') as f:
obj = json.load(f, object_hook=dict2person)
print(obj.name, obj.age, obj.job)
obj.work()
由于可以使用__dict__代替person2dict函數(shù),再使用lambda函數(shù)簡(jiǎn)化。
with open('abc.json', 'w', encoding='utf-8') as f:
json.dump(aa, f, default=lambda obj: obj.__dict__)
以上是存儲(chǔ)到文件,存儲(chǔ)到變量也是類似操作。
不過(guò)就我現(xiàn)在所學(xué),不知道如何像pickle一樣方便的將我們自定義的類本身使用json序列化,或許要用到其他擴(kuò)展函數(shù)。以后用到了再說(shuō)。
shelve模塊
還有一個(gè)模塊,不太常用,通常使用一個(gè)open就好。shelve以鍵值對(duì)的形式存儲(chǔ)數(shù)據(jù)。
with shelve.open('aa') as f:
f['person'] = {'age': 23, 'job': 'student'}
f['person']['age'] = 44 # 這里試圖改變?cè)瓉?lái)的年齡23
f['numbers'] = [i for i in range(10)]
with shelve.open('aa') as f:
person = f['person']
print(person) # {'age': 23, 'job': 'student'}
nums = f['numbers']
print(nums) # [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
文件不要有后綴名,在windows下會(huì)生成aa.bak, aa.dat, aa.dir三個(gè)文件(有點(diǎn)多)。其中bak和dir文件是可以查看的(貌似兩個(gè)文件內(nèi)容一樣)在下面這個(gè)例子中生成這樣的數(shù)據(jù)。
'person', (0, 44) 'numbers', (512, 28)
允許寫(xiě)回--writeback
有個(gè)細(xì)節(jié),我們讀取鍵person時(shí)候,發(fā)現(xiàn)age還是23歲,f['person']['age'] = 44后并沒(méi)有變成44。下面的寫(xiě)法
with shelve.open('aa', writeback=True) as f:
dic = {'age': 23, 'job': 'student'}
f['person'] = dic
dic['age'] = 44
f['person'] = dic
相當(dāng)于賦值了兩次,這種方法是可以改變值的。
默認(rèn)情況下直接使用f['person']改變其中的值之后,不會(huì)更新已存儲(chǔ)的值,也就是沒(méi)有把更新寫(xiě)回到文件,即使是文件被close后。如果有此需要,在open函數(shù)中添加一個(gè)參數(shù)writeback=True。再次運(yùn)行下看看年齡就被改變了。
寫(xiě)入自定義對(duì)象
依然使用上面的Person對(duì)象
with shelve.open('aa') as f:
f['class'] = Person
# 寫(xiě)入類本身
with shelve.open('aa') as f:
Person = f['class']
a = Person('Bob', 23, 'Student')
a.work()
上面的例子說(shuō)明shelve也可以序列化類本身。當(dāng)然序列化實(shí)例肯定可以。
with shelve.open('aa') as f:
a = Person('God', 100, 'watch')
f['class'] = a
with shelve.open('aa') as f:
god = f['class']
god.work()
注意,由于我們使用with open打開(kāi),故不用寫(xiě)close語(yǔ)句,此模塊是有close函數(shù)的,如果不是with方法打開(kāi)的一定要記得主動(dòng)close。
以上這篇老生常談Python序列化和反序列化就是小編分享給大家的全部?jī)?nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
- Python使用protobuf序列化和反序列化的實(shí)現(xiàn)
- Python使用pickle進(jìn)行序列化和反序列化的示例代碼
- Python 序列化和反序列化庫(kù) MarshMallow 的用法實(shí)例代碼
- Python3.5 Json與pickle實(shí)現(xiàn)數(shù)據(jù)序列化與反序列化操作示例
- Python Json序列化與反序列化的示例
- Python實(shí)現(xiàn)JSON反序列化類對(duì)象的示例
- 詳解Python中的序列化與反序列化的使用
- python3序列化與反序列化用法實(shí)例
- Python序列化與反序列化相關(guān)知識(shí)總結(jié)
相關(guān)文章
python實(shí)現(xiàn)簡(jiǎn)易的學(xué)生信息管理系統(tǒng)
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)簡(jiǎn)易的學(xué)生信息管理系統(tǒng),文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2022-05-05
python使用tkinter實(shí)現(xiàn)自定義多參數(shù)對(duì)話框
Tkinter模塊是Python標(biāo)準(zhǔn)庫(kù)中的一部分,用于創(chuàng)建圖形用戶界面(GUI)應(yīng)用程序,它提供了一組工具和組件,用于創(chuàng)建窗口、按鈕、文本框等用戶界面元素,并且可以響應(yīng)用戶的輸入,本文將給大家講講python如何使用tkinter實(shí)現(xiàn)自定義多參數(shù)對(duì)話框2023-08-08
pycharm軟件實(shí)現(xiàn)設(shè)置自動(dòng)保存操作
這篇文章主要介紹了pycharm軟件實(shí)現(xiàn)設(shè)置自動(dòng)保存操作,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-06-06
Python爬蟲(chóng)采集Tripadvisor數(shù)據(jù)案例實(shí)現(xiàn)
這篇文章主要為大家介紹了Python爬蟲(chóng)采集Tripadvisor數(shù)據(jù)案例實(shí)現(xiàn),有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2022-06-06
Pandas merge合并兩個(gè)DataFram的實(shí)現(xiàn)
本文主要介紹了Pandas merge合并兩個(gè)DataFram的實(shí)現(xiàn),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-03-03
pycharm調(diào)試功能如何實(shí)現(xiàn)跳到循環(huán)的某一步
這篇文章主要介紹了pycharm調(diào)試功能如何實(shí)現(xiàn)跳到循環(huán)的某一步問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-08-08

