Pandas讀存JSON數(shù)據(jù)操作示例詳解
引言
本文介紹的如何使用Pandas來(lái)讀取各種json格式的數(shù)據(jù),以及對(duì)json數(shù)據(jù)的保存

讀取json數(shù)據(jù)
使用的是pd.read_json函數(shù),見(jiàn)官網(wǎng):pandas.pydata.org/docs/refere…
pandas.read_json( path_or_buf=None, # 文件路徑 orient=None, # 取值:split、records、index、columns、values typ='frame', # 要恢復(fù)的對(duì)象類型(系列或框架),默認(rèn)'框架'. dtype=None, # boolean或dict,默認(rèn)為True convert_axes=None, convert_dates=True, keep_default_dates=True, numpy=False, precise_float=False, date_unit=None, encoding=None, # 編碼 lines=False, # 布爾值,默認(rèn)為False,每行讀取該文件作為json對(duì)象 chunksize=None, # 分塊讀取大小 compression='infer', nrows=None, storage_options=None)
模擬數(shù)據(jù)
模擬了一份數(shù)據(jù),vscode打開(kāi)內(nèi)容:

可以看到默認(rèn)情況下的讀取效果:

主要有下面幾個(gè)特點(diǎn):
- 第一層級(jí)字典的鍵當(dāng)做了DataFrame的字段
- 第二層級(jí)的鍵默認(rèn)當(dāng)做了行索引
下面重點(diǎn)解釋下參數(shù)orident
參數(shù)orident
取值可以是:split、records、index、columns、values
orident="split"
json文件的key的名字只能為index,cloumns,data;不多也不能少。
split' : dict like {index -> [index], columns -> [columns], data -> [values]}
In [3]:
data1 = '{"index":[1,2],"columns":["name","age"],"data":[["xiaoming",28], ["zhouhong",20]]}'
In [4]:
df1 = pd.read_json(data1, orient="split") df1

結(jié)果表明:
- index:當(dāng)做行索引
- columns:列名
- data:具體的取值
如果我們改變其中一個(gè)key,比如data換成information就報(bào)錯(cuò)了:


orient="records"
當(dāng)orient="records"的時(shí)候,數(shù)據(jù)是以字段 + 取值的形式存放的。
‘records' : list like [{column -> value}, … , {column -> value}]
In [7]:
data2 = '[{"name":"Peter","sex":"male","age":20},{"name":"Tom","age":27},{"sex":"male"}]'
In [8]:
df2 = pd.read_json(data2, orient="records") df2

生成數(shù)據(jù)的特點(diǎn):
- 列表中元素是以字典的形式存放
- 列表中每個(gè)元素(字典)的key,如果沒(méi)有出現(xiàn)則取值為NaN
orient="index"
當(dāng)orient="index"的時(shí)候,數(shù)據(jù)是以行的形式來(lái)存儲(chǔ)。
dict like {index -> {column -> value}}
In [9]:
data3 = '{"id1":{"name":"Mike","age":20,"sex":"male","score":80},"id2":{"name":"Jack","sex":"female","score":90}}'
In [10]:
df3 = pd.read_json(data3, orient="index") df3

- 每個(gè)id存放一條數(shù)據(jù)
- 未出現(xiàn)的key取值為NaN
orient="columns"
在這種情況下數(shù)據(jù)是以列的形式來(lái)存儲(chǔ)的。
dict like {column -> {index -> value}}
In [11]:
data4 = '{"sex":{"id1":"Peter","id2":"Tom","id3":"Jimmy"},"age":{"id1": 20,"id3":28}}'
In [12]:
df4 = pd.read_json(data4, orient="columns") df4

如果我們對(duì)上面的結(jié)果實(shí)施轉(zhuǎn)置(兩種方法):

我們會(huì)發(fā)現(xiàn)這個(gè)結(jié)果和orient="index"的讀取結(jié)果是相同的:

orient="values"
在這種情況下,數(shù)據(jù)是以數(shù)組的形式存在的:
‘values' : just the values array
In [16]:
data5 = '[["深圳",2000],["廣州",1900],["北京",2500]]'
In [17]:
df5 = pd.read_json(data5, orient="values") df5

對(duì)生成的列名進(jìn)行重新命名:

to_json
將DataFrame數(shù)據(jù)保存成json格式的文件
DataFrame.to_json(path_or_buf=None, # 路徑
orient=None, # 轉(zhuǎn)換類型
date_format=None, # 日期轉(zhuǎn)換類型
double_precision=10, # 小數(shù)保留精度
force_ascii=True, # 是否顯示中文
date_unit='ms', # 日期顯示最小單位
default_handler=None,
lines=False,
compression='infer',
index=True, # 是否保留行索引
indent=None, # 空格數(shù)
storage_options=None)
官網(wǎng)學(xué)習(xí)地址:
pandas.pydata.org/docs/refere…
1、默認(rèn)保存
df.to_json("df_to_json_1.json", force_ascii=True) # 不顯示中文
顯示結(jié)果為一行數(shù)據(jù),且存在unicode編碼,中文無(wú)法顯示:
{"sex":{"Jimmy":"male","Tom":"female","Jack":"male","Mike":"female"},"age":{"Jimmy":20,"Tom":18,"Jack":29,"Mike":26},"height":{"Jimmy":187,"Tom":167,"Jack":178,"Mike":162},"address":{"Jimmy":"\u6df1\u5733","Tom":"\u4e0a\u6d77","Jack":"\u5317\u4eac","Mike":"\u5e7f\u5dde"}}
2、顯示中文
df.to_json("df_to_json_2.json", force_ascii=False) # 顯示中文
中文能夠正常顯示:
{"sex":{"Jimmy":"male","Tom":"female","Jack":"male","Mike":"female"},"age":{"Jimmy":20,"Tom":18,"Jack":29,"Mike":26},"height":{"Jimmy":187,"Tom":167,"Jack":178,"Mike":162},"address":{"Jimmy":"深圳","Tom":"上海","Jack":"北京","Mike":"廣州"}}
3、不同的orient顯示 + 換行(indent參數(shù))
df.to_json("df_to_json_3.json", force_ascii=False, orient="index",indent=4)
# index + 換行
顯示結(jié)果中鍵為name信息:

4、改變index
df.to_json("df_to_json_4.json", force_ascii=False, orient="columns",indent=4) # columns + 換行

以上就是Pandas讀存JSON數(shù)據(jù)操作示例詳解的詳細(xì)內(nèi)容,更多關(guān)于Pandas讀存JSON數(shù)據(jù)的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!
- Python基于pandas實(shí)現(xiàn)json格式轉(zhuǎn)換成dataframe的方法
- 對(duì)pandas處理json數(shù)據(jù)的方法詳解
- 讀Json文件生成pandas數(shù)據(jù)框詳情
- python使用pandas讀取json文件并進(jìn)行刷選導(dǎo)出xlsx文件的方法示例
- Pandas實(shí)現(xiàn)解析JSON數(shù)據(jù)與導(dǎo)出的示例詳解
- Python?Pandas實(shí)現(xiàn)將嵌套JSON數(shù)據(jù)轉(zhuǎn)換DataFrame
- pandas讀取HTML和JSON數(shù)據(jù)的實(shí)現(xiàn)示例
- Python使用pandas讀取Excel并選取列轉(zhuǎn)json
- Pandas JSON的處理使用
相關(guān)文章
使用selenium+chromedriver+xpath爬取動(dòng)態(tài)加載信息
這篇文章主要介紹了使用selenium+chromedriver+xpath爬取動(dòng)態(tài)加載信息2022-02-02
基于python的Tkinter實(shí)現(xiàn)一個(gè)簡(jiǎn)易計(jì)算器
這篇文章主要介紹了基于python的Tkinter實(shí)現(xiàn)一個(gè)簡(jiǎn)易計(jì)算器的相關(guān)資料,還為大家分享了僅用用50行Python代碼實(shí)現(xiàn)的簡(jiǎn)易計(jì)算器,感興趣的小伙伴們可以參考一下2015-12-12
Python?Flask框架實(shí)現(xiàn)Proteus仿真Arduino與網(wǎng)頁(yè)數(shù)據(jù)交互
這篇文章主要介紹了Python?Flask框架實(shí)現(xiàn)Proteus仿真Arduino與網(wǎng)頁(yè)數(shù)據(jù)交互,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)吧2022-11-11
解決pytorch 數(shù)據(jù)類型報(bào)錯(cuò)的問(wèn)題
這篇文章主要介紹了解決pytorch 數(shù)據(jù)類型報(bào)錯(cuò)的問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-03-03
Python二維數(shù)組不同初始化方式的差異說(shuō)明
這篇文章主要介紹了Python二維數(shù)組不同初始化方式的差異說(shuō)明,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-08-08
OpenCV實(shí)戰(zhàn)案例之車道線識(shí)別詳解
計(jì)算機(jī)視覺(jué)在自動(dòng)化系統(tǒng)觀測(cè)環(huán)境、預(yù)測(cè)該系統(tǒng)控制器輸入值等方面起著至關(guān)重要的作用,下面這篇文章主要給大家介紹了關(guān)于OpenCV實(shí)戰(zhàn)案例之車道線識(shí)別的相關(guān)資料,需要的朋友可以參考下2022-10-10
Python3調(diào)用百度AI識(shí)別圖片中的文字功能示例【測(cè)試可用】
這篇文章主要介紹了Python3調(diào)用百度AI識(shí)別圖片中的文字功能,結(jié)合實(shí)例形式分析了Python3安裝及使用百度AI接口的相關(guān)操作技巧,并附帶說(shuō)明了百度官方AI平臺(tái)的注冊(cè)及接口調(diào)用操作方法,需要的朋友可以參考下2019-03-03
Python pandas求方差和標(biāo)準(zhǔn)差的方法實(shí)例
標(biāo)準(zhǔn)差(或方差),分為 總體標(biāo)準(zhǔn)差(方差)和 樣本標(biāo)準(zhǔn)差(方差),下面這篇文章主要給大家介紹了關(guān)于pandas求方差和標(biāo)準(zhǔn)差的相關(guān)資料,文中通過(guò)示例代碼介紹的非常詳細(xì),需要的朋友可以參考下2021-08-08
基于python寫個(gè)國(guó)慶假期倒計(jì)時(shí)程序
國(guó)慶假期快到了,想查查還有幾天幾小時(shí)到假期,這對(duì)程序員小菜一碟,輕輕松松用python寫個(gè)倒計(jì)時(shí)程序(天、時(shí)、分、秒),助你熬到假期2021-09-09

