pandas如何靈活增加新的空字段
pandas靈活增加新的空字段
先說需求
從mongodb中讀取數(shù)據(jù)的某些字段(如A,B,C,D),如果數(shù)據(jù)沒有某個字段(如‘D’字段),就增加該字段且值為空
解決方法
import pandas as pd import numpy as np a=np.array([[1,2,3],[4,5,6],[7,8,9]]) df1=pd.DataFrame(a,index=['row0','row1','row2'],columns=list('ABC')) df1
df1結(jié)果:
創(chuàng)建空的且有指定字段的dataframe
df2 = pd.DataFrame(columns=['A','B','C','D'])
再通過pd.concat方法連接
pd.concat([df2,df1])
最后的結(jié)果如下:
Python pandas數(shù)據(jù)清洗,按條件賦值空字段
Python pandas按條件賦值空字段
找到空值,并查看空值的有關(guān)規(guī)律
旅游數(shù)據(jù)中節(jié)省字段部分為空,考慮使用目的地的均值賦值給對應(yīng)的空值;有北京到西安的旅程的節(jié)省為空,過程中需要:
1、找到節(jié)省字段為空的行列:
import numpy as np import pandas as pd data[data['節(jié)省'].isnull()]
2、提取其中的目的地:
data.loc[data['節(jié)省'].isnull(),['目的地']]
3、各個目的地及出發(fā)地的均值:
round(data.groupby(['目的地','出發(fā)地'])['節(jié)省'].mean())
使用fillna函數(shù)解決問題:
1、建立一個新的DataFrame用以裝入更新后數(shù)據(jù)
2、獲得目的地情況
3、賦值目的地均值到目的地空值
4、將處理后數(shù)據(jù)丟進新的DataFrame
5、將2-4步驟進行循環(huán)
datafillna = pd.DataFrame() place = data.目的地.unique() for pla in place: ? ? t = data.目的地 == pla ? ? print(t) ? ? a = data[t].fillna(data[t].mean()) ? ? print(a) ? ? datafillna = datafillna.append(a) ? ? break
總結(jié)
以上為個人經(jīng)驗,希望能給大家一個參考,也希望大家多多支持腳本之家。
相關(guān)文章
python使用response.read()接收json數(shù)據(jù)的實例
今天小編就為大家分享一篇python使用response.read()接收json數(shù)據(jù)的實例,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-12-12Python調(diào)用olmOCR大模型實現(xiàn)提取復雜PDF文件內(nèi)容
olmocr是由Allen人工智能研究所(AI2)開發(fā)的一個開源工具包,旨在高效地將PDF和其他文檔轉(zhuǎn)換為結(jié)構(gòu)化的純文本,同時保持自然閱讀順序,下面我們來看看如何使用olmOCR大模型實現(xiàn)提取復雜PDF文件內(nèi)容吧2025-03-03Python中PDF轉(zhuǎn)Word的多種實現(xiàn)方法
在日常辦公和數(shù)據(jù)處理中,經(jīng)常需要將PDF文檔轉(zhuǎn)換為Word文檔,以便進行編輯、修改或格式調(diào)整,Python作為一種強大的編程語言,提供了多種庫和工具來實現(xiàn)這一功能,以下是對Python中PDF轉(zhuǎn)Word技術(shù)的詳細介紹,需要的朋友可以參考下2025-01-01使用Python實現(xiàn)Mysql數(shù)據(jù)庫相關(guān)操作詳解
這篇文章主要介紹了使用Python實現(xiàn)Mysql數(shù)據(jù)庫相關(guān)操作詳解,pymysql是Python中操作數(shù)據(jù)庫的第三方模塊,通過這個模塊的相關(guān)方法,我們可以連接并且去操作mysql數(shù)據(jù)庫,需要的朋友可以參考下2023-08-08