欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python序列化模塊之pickle與json詳解

 更新時間:2022年05月25日 14:46:15   作者:小小垂髫  
這篇文章主要為大家介紹了Python中常用的兩個序列化模塊:pickle序列化和json序列化。文中的示例代碼講解詳細,感興趣的小伙伴可以學習一下

序列化模塊

import pickle

序列化和反序列化

把不能直接存儲的數(shù)據(jù)變得可存儲,這個過程叫做序列化。把文件中的數(shù)據(jù)拿出來,回復稱原來的數(shù)據(jù)類型,這個過程叫做反序列化。

在文件中存儲的數(shù)據(jù)只能是字符串,或者是字節(jié)流,不能是其它的數(shù)據(jù)類型,但是如果想要將其存儲就需要序列化。

Python中的序列化模塊叫做 pickle,PHP等其它的一些語言將其稱作serialize 或者unserialize,每個語言的序列化功能可以序列化它本身的一切數(shù)據(jù)類型。

使用場景

現(xiàn)在存在一段數(shù)據(jù),現(xiàn)在并不需要他,但是說不定什么時候我就要用它,那么最好的方法就是將這段數(shù)據(jù)保存起來。

保存這段數(shù)據(jù)一般來說有那么幾種方法(入庫或者保存文件),但是這段數(shù)據(jù)很復雜,而保存在數(shù)據(jù)庫中需要特定的數(shù)據(jù)格式,入庫的話就非常的麻煩了,而且我不想破壞數(shù)據(jù)的原有格式,那么可以選擇保存為文件。

如下所示:保存文件會遇到種種的麻煩問題。

# 這是我想要保存的一段數(shù)據(jù)
lst = ['A', 'B', 'C']

# 直接使用open函數(shù)不能將非字符串和非字節(jié)流的數(shù)據(jù)寫入文件
with open('data.txt', 'w', encoding='UTF-8') as fp :
	fp.write(lst)
# ?。?! TypeError

# 將數(shù)據(jù)變成字符串就破壞了原有的數(shù)據(jù)結構(如果很復雜的數(shù)據(jù)結構幾乎沒有復原的可能性)
lst = str(lst)

# 將數(shù)據(jù)變成字節(jié)流:只能將字符串變成字節(jié)流數(shù)據(jù)!

現(xiàn)在就可以使用序列化功能,將數(shù)據(jù)序列化成為字節(jié)流的格式,然后存在文件當中,當需要的時候,再從文件中讀取出來,然后反序列化成為數(shù)據(jù)原來的樣子,而且保證原數(shù)據(jù)的數(shù)據(jù)結構沒有變化。

而且可以序列化語言當中的任何數(shù)據(jù)類型,就是說不止是基本的數(shù)據(jù)類型,還有函數(shù)、類、對象……

dumps & loads

dumps將任意對象序列化成bytes數(shù)據(jù),loads將序列化成為bytes的數(shù)據(jù)反序列成數(shù)據(jù)原本的格式。

注意:只能反序列化被序列化的數(shù)據(jù)

import pickle


# 這是我想要保存的一段數(shù)據(jù)
lst = ['A', 'B', 'C']


# dumps 把任意對象序列化成bytes
res = pickle.dumps(lst)
print(res)  # b'\x80\x03]q\x00(X\x01\x00\x00\x00Aq\x01X\x01\x00\x00\x00Bq\x02X\x01\x00\x00\x00Cq\x03e.'
print(type(res))  # <class 'bytes'>
# 序列化后的bytes數(shù)據(jù)可以寫入文件中。


# loads 把任意bytes反序列化成為原來的數(shù)據(jù)
lst = pickle.loads(res)
print(lst)  # ['A', 'B', 'C']
print(type(lst))  # <class 'list'>


# 嘗試反序列化其它的bytes數(shù)據(jù)
char = '你好'
by_char = char.encode()
new_char = pickle.loads(by_char)  # _pickle.UnpicklingError: invalid load key, '\xe4'.

dump & load

含義和上述的相同,只是這個可以直接操作IO對象,省時省力。

import pickle


# 這是我想要保存的一段數(shù)據(jù)
lst = ['A', 'B', 'C']


# dumps 和 loads 配合文件操作
# 序列化后寫入文件
with open('test.txt', 'wb') as fp:
    data = pickle.dumps(lst)
    fp.write(data)
# 讀取文件反序列化
with open('test.txt', 'rb') as fp:
    data = fp.read()
    lst = pickle.loads(data)


# dump 和 load 配合文件操作
# 序列化寫入文件
with open('test.txt', 'wb') as fp:
    pickle.dump(lst, fp)
# 讀取文件反序列化
with open('test.txt', 'rb') as fp:
    lst = pickle.load(fp)

JSON序列化模塊

import json

使用場景

序列化后的數(shù)據(jù),如果想在多種語言中都可以流通怎么辦?每種語言都有自己的語言特性,有些語言中的數(shù)據(jù)是特有的,那么序列化后的數(shù)據(jù)該怎么流通呢?

每種語言雖然各有自己的特點,但是幾乎所以的語言都是師出同門,天下語言無不出C者。所以將每種語言共同存在的數(shù)據(jù)格式按照統(tǒng)一的標準去序列化就可以了,JSON誕生了。

json一般存儲為json文件。

支持的數(shù)據(jù)類型

python中支持JSON序列化的數(shù)據(jù)一共有八種類型:

int、float、bool、str、list、tuple、dict、None

JSON序列化支持這幾種數(shù)據(jù)類型是因為JSON中就只支持這幾種數(shù)據(jù)類型:

如下為python中的數(shù)據(jù)類型對應json中的數(shù)據(jù)類型;

python數(shù)據(jù)類型JSON數(shù)據(jù)類型
intint
floatfloat
bool(True,F(xiàn)alse)bool(true,false)
Nonenull
strstr(必須雙引號)
list([])、tuple(())Array([])
dict({})Object({})(鍵必須是雙引號)

注意:

JSON中沒有元組類型,所以會變成列表;

JSON中的對象必須使用字符串作為鍵,所以python中的字典數(shù)據(jù)中的非字符串鍵,會變成對應的JSON數(shù)據(jù)然后強轉成為字符串;

import json

dict_var = {1: 1, 2.2: 2.2, False: True, '123': '123', "234": "234", None: None}

json_obj = json.dumps(dict_var)
dict_var = json.loads(json_obj)

print(dict_var)
# {'1': 1, '2.2': 2.2, 'false': True, '123': '123', '234': '234', 'null': None}

JSON和pickle的區(qū)別

JSON可以序列化python八種數(shù)據(jù),序列化為字符串。

pickle可以序列化python所有的數(shù)據(jù)類型,序列化為字節(jié)流。

序列化函數(shù)

JSON序列化函數(shù)和pickle的一樣,名稱和使用方法基本一樣:

方法含義
dumps序列化
loads反序列化
dump序列化寫入文件
load讀取文件反序列化

這里注意一下序列化方法的幾個常用參數(shù):

ensure_asscii 默認為True, 以ACSII格式編碼,以Unicode顯示;

sort_keys 默認為True, 對字典的鍵進行排序;

indent默認為None, json格式化默認是一行不加縮進的,如果indent是一個正整數(shù),就以該縮進級別進行換行,增強可視化。

import json

# 開啟排序
dict_var = {'B': '2', 'A': '1'}
print(dict_var)  # {'B': '2', 'A': '1'}
json_char = json.dumps(dict_var, ensure_ascii=False, sort_keys=True)
dict_var = json.loads(json_char)
print(dict_var)  # {'A': '1', 'B': '2'}

# 關閉排序
dict_var = {'B': '2', 'A': '1'}
print(dict_var)  # {'B': '2', 'A': '1'}
json_char = json.dumps(dict_var, ensure_ascii=False, sort_keys=False)
dict_var = json.loads(json_char)
print(dict_var)  # {'B': '2', 'A': '1'}

# dump 也一樣哦

json和pickle實際使用過程中的一些問題

在對文件進行操作的時候:

  • json可以連續(xù)dump,但是不能連續(xù)load
  • pickle可以連續(xù)dump和load

如下解釋:

# json 可以連續(xù)dump,但是不能連續(xù)load
import json

# 序列化數(shù)據(jù)
lst1 = [1, 2, 3]
lst2 = [4, 5, 6]
lst3 = [7, 8, 9]

# 序列化寫入文件
with open('test.json', 'w', encoding='UTF-8') as fp:
    json.dump(lst1, fp)
    json.dump(lst2, fp)
    json.dump(lst3, fp)

# 讀取文件反序列化
with open('test.json', 'r', encoding='UTF-8') as fp:
    data1 = json.load(fp)  # ERROR
    data2 = json.load(fp)
    data3 = json.load(fp)

# ?。?! json.decoder.JSONDecodeError: Extra data: line 1 column 10 (char 9)

因為 json.dump 方法序列化寫入文件的時候,寫入了兩個及以上的數(shù)據(jù),之后 json.load 方法在讀的時候又是一次性將整個文件中的數(shù)據(jù)讀取出來,這個時候,反序列化的數(shù)據(jù)成了 [1, 2, 3][4, 5, 6][7, 8, 9] ,這明顯不是一個json支持的數(shù)據(jù)格式,所以 json.load 失敗了。

再來看pickle是怎么樣的:

# pickle 可以連續(xù)dump,也可以連續(xù)load
import pickle

# 序列化數(shù)據(jù)
lst1 = [1, 2, 3]
lst2 = [4, 5, 6]
lst3 = [7, 8, 9]

# 序列化寫入文件
with open('pickle.txt', 'wb') as fp:
    pickle.dump(lst1, fp)
    pickle.dump(lst2, fp)
    pickle.dump(lst3, fp)

# 讀取文件反序列化
with open('pickle.txt', 'rb') as fp:
    data1 = pickle.load(fp)  # [1, 2, 3]
    print(data1)
    data2 = pickle.load(fp)  # [4, 5, 6]
    print(data2)
    data3 = pickle.load(fp)  # [7, 8, 9]
    print(data3)

# 嘗試先逐行讀取,再反序列化
with open('pickle.txt', 'rb') as fp:
    datum = fp.readlines()
    print(len(datum))  # 1
    
    for data in datum:
        data = pickle.loads(data)
        print(data)  # [1, 2, 3]   # 只能讀出一個

可以看到 pickle.load 將數(shù)據(jù)都讀出來了,這是因為 pickle.dump 在寫入數(shù)據(jù)的時候在每條數(shù)據(jù)后都加上了一個標記(有些人解釋說是換行,但是文件中并沒有換行,逐行使用 fp.readlines 逐行讀取的時候也只能獲取一條,但是在文件中所有的數(shù)據(jù)都是在同一行的,我也不太懂了(無奈)),然后 pickle.load 每次就只會讀一條數(shù)據(jù),從IO指針讀到每條數(shù)據(jù)后的那個標記為止,所以,pickle 可以連續(xù)的 load。

怎么解決json的這個問題?

其實上面的這個問題,我個人認為是一種不規(guī)范的操作。因為 json.load 會一次性的讀取整個文件中的內容,你卻在一個文件中寫入了不止一條的數(shù)據(jù),那么在反序列化的時候當然會報錯了。所以我認為:

json的主要作用多語言之前的數(shù)據(jù)傳遞和數(shù)據(jù)存儲,每個JSON文件中最好只儲存一條完整的數(shù)據(jù)。

但是我就想在一個json文件中存多個數(shù)據(jù)呢?

其實思路很簡單,關鍵就是讀取文件然后反序列化的時候,必須是一條數(shù)據(jù)、一條數(shù)據(jù)的反序列化,類似如下:

import json

# 序列化數(shù)據(jù)
lst1 = [1, 2, 3]
lst2 = [4, 5, 6]
lst3 = [7, 8, 9]

# 序列化寫入文件,每寫入一條數(shù)據(jù)插一個換行
with open('test.json', 'w', encoding='UTF-8') as fp:
    json.dump(lst1, fp)
    fp.write('\n')
    json.dump(lst2, fp)
    fp.write('\n')
    json.dump(lst3, fp)

# 讀取文件反序列化(逐行讀取數(shù)據(jù),然后反序列化)
with open('test.json', 'r', encoding='UTF-8') as fp:
    datum = fp.readlines()
    print(len(datum))  # 3

    for data in datum:
        data = json.loads(data)
        print(data)  # [1, 2, 3]
                     # [4, 5, 6]
                     # [7, 8, 9]

pickle和json的區(qū)別總結

json序列化后的數(shù)據(jù)為字符串,pickle序列化后的數(shù)據(jù)為字節(jié)流;

json支持八種數(shù)據(jù)類型(int、float、bool、str、list、tuple、dict、None),pickle支持python的一切數(shù)據(jù)類型;

json一般用于多語言間的數(shù)據(jù)交流,pickle一般用于python之間數(shù)據(jù)交流;

以上就是Python序列化模塊之pickle與json詳解的詳細內容,更多關于Python pickle json的資料請關注腳本之家其它相關文章!

相關文章

  • python檢測是文件還是目錄的方法

    python檢測是文件還是目錄的方法

    這篇文章主要介紹了python檢測是文件還是目錄的方法,涉及Python針對文件及目錄的檢測技巧,需要的朋友可以參考下
    2015-07-07
  • Python每天必學之bytes字節(jié)

    Python每天必學之bytes字節(jié)

    Python每天必學之bytes字節(jié),針對Python中的bytes字節(jié)進行學習理解,感興趣的小伙伴們可以參考一下
    2016-01-01
  • Python定制類你不知道的魔術方法

    Python定制類你不知道的魔術方法

    你知道什么是定制類?Python中包含很多內置的(Built-in)函數(shù),異常,對象。分別有不同的作用,我們可以重寫這些功能,希望對大家有所幫助。一起跟隨小編過來看看吧
    2022-07-07
  • python繪制散點圖和折線圖的方法

    python繪制散點圖和折線圖的方法

    這篇文章主要為大家詳細介紹了python繪制散點圖和折線圖的方法,文中示例代碼介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2022-04-04
  • python3.0 模擬用戶登錄,三次錯誤鎖定的實例

    python3.0 模擬用戶登錄,三次錯誤鎖定的實例

    下面小編就為大家?guī)硪黄猵ython3.0 模擬用戶登錄,三次錯誤鎖定的實例。小編覺得挺不錯的,現(xiàn)在就分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2017-11-11
  • 解決django的template中如果無法引用MEDIA_URL問題

    解決django的template中如果無法引用MEDIA_URL問題

    這篇文章主要介紹了解決django的template中如果無法引用MEDIA_URL問題,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-04-04
  • 使用Python和Pygame輕松實現(xiàn)播放音頻播放器

    使用Python和Pygame輕松實現(xiàn)播放音頻播放器

    在這個數(shù)字化時代,音頻和音樂已成為我們日常生活的一部分,不管是為了放松、學習還是工作,一個好的音樂播放器總是必不可少的,所以本文給大家介紹了用Python和Pygame制作自己的音頻播放器,感興趣的朋友可以參考下
    2024-01-01
  • pytorch GAN生成對抗網(wǎng)絡實例

    pytorch GAN生成對抗網(wǎng)絡實例

    今天小編就為大家分享一篇pytorch GAN生成對抗網(wǎng)絡實例,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-01-01
  • Python一行代碼快速實現(xiàn)程序進度條示例

    Python一行代碼快速實現(xiàn)程序進度條示例

    這篇文章主要為大家介紹了Python一行代碼快速實現(xiàn)程序進度條示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪
    2023-03-03
  • python+selenium+chrome批量文件下載并自動創(chuàng)建文件夾實例

    python+selenium+chrome批量文件下載并自動創(chuàng)建文件夾實例

    這篇文章主要介紹了python+selenium+chrome批量文件下載并自動創(chuàng)建文件夾實例,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-04-04

最新評論