Pandas讀存JSON數(shù)據(jù)操作示例詳解
引言
本文介紹的如何使用Pandas來讀取各種json格式的數(shù)據(jù),以及對json數(shù)據(jù)的保存
讀取json數(shù)據(jù)
使用的是pd.read_json函數(shù),見官網(wǎng):pandas.pydata.org/docs/refere…
pandas.read_json( path_or_buf=None, # 文件路徑 orient=None, # 取值:split、records、index、columns、values typ='frame', # 要恢復(fù)的對象類型(系列或框架),默認'框架'. dtype=None, # boolean或dict,默認為True convert_axes=None, convert_dates=True, keep_default_dates=True, numpy=False, precise_float=False, date_unit=None, encoding=None, # 編碼 lines=False, # 布爾值,默認為False,每行讀取該文件作為json對象 chunksize=None, # 分塊讀取大小 compression='infer', nrows=None, storage_options=None)
模擬數(shù)據(jù)
模擬了一份數(shù)據(jù),vscode打開內(nèi)容:
可以看到默認情況下的讀取效果:
主要有下面幾個特點:
- 第一層級字典的鍵當做了DataFrame的字段
- 第二層級的鍵默認當做了行索引
下面重點解釋下參數(shù)orident
參數(shù)orident
取值可以是:split、records、index、columns、values
orident="split"
json文件的key的名字只能為index,cloumns,data
;不多也不能少。
split' : dict like {index -> [index], columns -> [columns], data -> [values]}
In [3]:
data1 = '{"index":[1,2],"columns":["name","age"],"data":[["xiaoming",28], ["zhouhong",20]]}'
In [4]:
df1 = pd.read_json(data1, orient="split") df1
結(jié)果表明:
- index:當做行索引
- columns:列名
- data:具體的取值
如果我們改變其中一個key,比如data換成information就報錯了:
orient="records"
當orient="records"的時候,數(shù)據(jù)是以字段 + 取值的形式存放的。
‘records' : list like [{column -> value}, … , {column -> value}]
In [7]:
data2 = '[{"name":"Peter","sex":"male","age":20},{"name":"Tom","age":27},{"sex":"male"}]'
In [8]:
df2 = pd.read_json(data2, orient="records") df2
生成數(shù)據(jù)的特點:
- 列表中元素是以字典的形式存放
- 列表中每個元素(字典)的key,如果沒有出現(xiàn)則取值為NaN
orient="index"
當orient="index"的時候,數(shù)據(jù)是以行的形式來存儲。
dict like {index -> {column -> value}}
In [9]:
data3 = '{"id1":{"name":"Mike","age":20,"sex":"male","score":80},"id2":{"name":"Jack","sex":"female","score":90}}'
In [10]:
df3 = pd.read_json(data3, orient="index") df3
- 每個id存放一條數(shù)據(jù)
- 未出現(xiàn)的key取值為NaN
orient="columns"
在這種情況下數(shù)據(jù)是以列的形式來存儲的。
dict like {column -> {index -> value}}
In [11]:
data4 = '{"sex":{"id1":"Peter","id2":"Tom","id3":"Jimmy"},"age":{"id1": 20,"id3":28}}'
In [12]:
df4 = pd.read_json(data4, orient="columns") df4
如果我們對上面的結(jié)果實施轉(zhuǎn)置(兩種方法):
我們會發(fā)現(xiàn)這個結(jié)果和orient="index"的讀取結(jié)果是相同的:
orient="values"
在這種情況下,數(shù)據(jù)是以數(shù)組的形式存在的:
‘values' : just the values array
In [16]:
data5 = '[["深圳",2000],["廣州",1900],["北京",2500]]'
In [17]:
df5 = pd.read_json(data5, orient="values") df5
對生成的列名進行重新命名:
to_json
將DataFrame數(shù)據(jù)保存成json格式的文件
DataFrame.to_json(path_or_buf=None, # 路徑 orient=None, # 轉(zhuǎn)換類型 date_format=None, # 日期轉(zhuǎn)換類型 double_precision=10, # 小數(shù)保留精度 force_ascii=True, # 是否顯示中文 date_unit='ms', # 日期顯示最小單位 default_handler=None, lines=False, compression='infer', index=True, # 是否保留行索引 indent=None, # 空格數(shù) storage_options=None)
官網(wǎng)學習地址:
pandas.pydata.org/docs/refere…
1、默認保存
df.to_json("df_to_json_1.json", force_ascii=True) # 不顯示中文
顯示結(jié)果為一行數(shù)據(jù),且存在unicode編碼,中文無法顯示:
{"sex":{"Jimmy":"male","Tom":"female","Jack":"male","Mike":"female"},"age":{"Jimmy":20,"Tom":18,"Jack":29,"Mike":26},"height":{"Jimmy":187,"Tom":167,"Jack":178,"Mike":162},"address":{"Jimmy":"\u6df1\u5733","Tom":"\u4e0a\u6d77","Jack":"\u5317\u4eac","Mike":"\u5e7f\u5dde"}}
2、顯示中文
df.to_json("df_to_json_2.json", force_ascii=False) # 顯示中文
中文能夠正常顯示:
{"sex":{"Jimmy":"male","Tom":"female","Jack":"male","Mike":"female"},"age":{"Jimmy":20,"Tom":18,"Jack":29,"Mike":26},"height":{"Jimmy":187,"Tom":167,"Jack":178,"Mike":162},"address":{"Jimmy":"深圳","Tom":"上海","Jack":"北京","Mike":"廣州"}}
3、不同的orient顯示 + 換行(indent參數(shù))
df.to_json("df_to_json_3.json", force_ascii=False, orient="index",indent=4) # index + 換行
顯示結(jié)果中鍵為name信息:
4、改變index
df.to_json("df_to_json_4.json", force_ascii=False, orient="columns",indent=4) # columns + 換行
以上就是Pandas讀存JSON數(shù)據(jù)操作示例詳解的詳細內(nèi)容,更多關(guān)于Pandas讀存JSON數(shù)據(jù)的資料請關(guān)注腳本之家其它相關(guān)文章!
- Python基于pandas實現(xiàn)json格式轉(zhuǎn)換成dataframe的方法
- 對pandas處理json數(shù)據(jù)的方法詳解
- 讀Json文件生成pandas數(shù)據(jù)框詳情
- python使用pandas讀取json文件并進行刷選導(dǎo)出xlsx文件的方法示例
- Pandas實現(xiàn)解析JSON數(shù)據(jù)與導(dǎo)出的示例詳解
- Python?Pandas實現(xiàn)將嵌套JSON數(shù)據(jù)轉(zhuǎn)換DataFrame
- pandas讀取HTML和JSON數(shù)據(jù)的實現(xiàn)示例
- Python使用pandas讀取Excel并選取列轉(zhuǎn)json
- Pandas JSON的處理使用
相關(guān)文章
使用selenium+chromedriver+xpath爬取動態(tài)加載信息
這篇文章主要介紹了使用selenium+chromedriver+xpath爬取動態(tài)加載信息2022-02-02基于python的Tkinter實現(xiàn)一個簡易計算器
這篇文章主要介紹了基于python的Tkinter實現(xiàn)一個簡易計算器的相關(guān)資料,還為大家分享了僅用用50行Python代碼實現(xiàn)的簡易計算器,感興趣的小伙伴們可以參考一下2015-12-12Python?Flask框架實現(xiàn)Proteus仿真Arduino與網(wǎng)頁數(shù)據(jù)交互
這篇文章主要介紹了Python?Flask框架實現(xiàn)Proteus仿真Arduino與網(wǎng)頁數(shù)據(jù)交互,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習吧2022-11-11Python3調(diào)用百度AI識別圖片中的文字功能示例【測試可用】
這篇文章主要介紹了Python3調(diào)用百度AI識別圖片中的文字功能,結(jié)合實例形式分析了Python3安裝及使用百度AI接口的相關(guān)操作技巧,并附帶說明了百度官方AI平臺的注冊及接口調(diào)用操作方法,需要的朋友可以參考下2019-03-03