Python Pandas實(shí)現(xiàn)數(shù)據(jù)分組求平均值并填充nan的示例
Python實(shí)現(xiàn)按某一列關(guān)鍵字分組,并計(jì)算各列的平均值,并用該值填充該分類該列的nan值。
DataFrame數(shù)據(jù)格式
fillna方式實(shí)現(xiàn)
groupby方式實(shí)現(xiàn)
DataFrame數(shù)據(jù)格式
以下是數(shù)據(jù)存儲形式:
fillna方式實(shí)現(xiàn)
1、按照industryName1列,篩選出業(yè)績
2、篩選出相同行業(yè)的Series
3、計(jì)算平均值mean,采用fillna函數(shù)填充
4、append到新DataFrame中
5、循環(huán)遍歷行業(yè)名稱,完成2,3,4步驟
factordatafillna = pd.DataFrame() industrys = newfactordata1.industryName1.unique() for ind in industrys: t = newfactordata1.industryName1 == ind a = newfactordata1[t].fillna(newfactordata1[t].mean()) factordatafillna = factordatafillna.append(a)
groupby方式實(shí)現(xiàn)
采用groupby計(jì)算,詳細(xì)見代碼注釋
df = pd.DataFrame({'code':[1,2,3,4,5,6,7,8], 'value':[np.nan,5,7,8,9,10,11,12], 'value2':[5,np.nan,7,np.nan,9,10,11,12], 'indstry':['農(nóng)業(yè)1','農(nóng)業(yè)1','農(nóng)業(yè)1','農(nóng)業(yè)2','農(nóng)業(yè)2','農(nóng)業(yè)4','農(nóng)業(yè)2','農(nóng)業(yè)3']}, columns=['code','value','value2','indstry'], index=list('ABCDEFGH')) # 只留下需要處理的列 cols = [col for col in df.columns if col not in['code','indstry']] # 分組的列 gp_col = 'indstry' # 查詢nan的列 df_na = df[cols].isna() # 根據(jù)分組計(jì)算平均值 df_mean = df.groupby(gp_col)[cols].mean() print(df) # 依次處理每一列 for col in cols: na_series = df_na[col] names = list(df.loc[na_series,gp_col]) t = df_mean.loc[names,col] t.index = df.loc[na_series,col].index # 相同的index進(jìn)行賦值 df.loc[na_series,col] = t print(df)
code value value2 indstry A 1 NaN 5.0 農(nóng)業(yè)1 B 2 5.0 NaN 農(nóng)業(yè)1 C 3 7.0 7.0 農(nóng)業(yè)1 D 4 8.0 NaN 農(nóng)業(yè)2 E 5 9.0 9.0 農(nóng)業(yè)2 F 6 10.0 10.0 農(nóng)業(yè)4 G 7 11.0 11.0 農(nóng)業(yè)2 H 8 12.0 12.0 農(nóng)業(yè)3 code value value2 indstry A 1 6.0 5.0 農(nóng)業(yè)1 B 2 5.0 6.0 農(nóng)業(yè)1 C 3 7.0 7.0 農(nóng)業(yè)1 D 4 8.0 10.0 農(nóng)業(yè)2 E 5 9.0 9.0 農(nóng)業(yè)2 F 6 10.0 10.0 農(nóng)業(yè)4 G 7 11.0 11.0 農(nóng)業(yè)2 H 8 12.0 12.0 農(nóng)業(yè)3
以上這篇Python Pandas實(shí)現(xiàn)數(shù)據(jù)分組求平均值并填充nan的示例就是小編分享給大家的全部內(nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
相關(guān)文章
Pandas 稀疏數(shù)據(jù)結(jié)構(gòu)的實(shí)現(xiàn)
如果數(shù)據(jù)中有很多NaN的值,存儲起來就會浪費(fèi)空間。為了解決這個(gè)問題,Pandas引入了一種叫做Sparse data的結(jié)構(gòu),來有效的存儲這些NaN的值,本文就來詳細(xì)的介紹了一下,感興趣的可以了解一下2021-07-07python markdown轉(zhuǎn)html自定義實(shí)現(xiàn)工具解析
Python-Markdown2 是一個(gè) Python 庫,用于將 Markdown 文本轉(zhuǎn)換為 HTML,它是對標(biāo)準(zhǔn) Markdown 語法的擴(kuò)展,提供了一些額外的功能和選項(xiàng),同時(shí)還兼容標(biāo)準(zhǔn) Markdown,用它可以方便地生成漂亮的文檔、博客文章、項(xiàng)目文檔等2024-01-01Python?Melt函數(shù)將寬格式的數(shù)據(jù)表轉(zhuǎn)換為長格式
在數(shù)據(jù)處理和清洗中,melt函數(shù)是Pandas庫中一個(gè)強(qiáng)大而靈活的工具,它的主要功能是將寬格式的數(shù)據(jù)表轉(zhuǎn)換為長格式,從而更方便進(jìn)行分析和可視化,本文將深入探討melt函數(shù)的用法、參數(shù)解析以及實(shí)際應(yīng)用場景2023-12-12