python:刪除離群值操作(每一行為一類數(shù)據(jù))
更新時間:2020年06月08日 10:23:24 作者:1226km
這篇文章主要介紹了python:刪除離群值操作(每一行為一類數(shù)據(jù)),具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
刪除有多行字符串的json文件中的離群值
def processHold(eachsubject,directory,newfile): filename = 'CMUDataCol/Hold/subject{0}.json'.format(eachsubject) # 原文件 with open(filename, 'r') as f: for jsonstr in f.readlines(): # 按行讀取原文件 # 這里的情況是每一行為一類數(shù)值,該行內(nèi)的數(shù)據(jù)相互比較找出是否有離群值 # 若存在離群值,則刪除該行數(shù)據(jù) data = json.loads(jsonstr) #計算四分位點 a = numpy.array(data) q1 = numpy.percentile(a, 25) q3 = numpy.percentile(a, 75) iqr = q3 - q1 # 找出異常值 i = 0 for item in zip(data): # 在正常值范圍內(nèi)時 i+1 if item <= q3 + (1.5*iqr) and item >= q1 - (1.5*iqr): i = i + 1 if i == 10: # 這里是因為我的json文件中每行data有10個元素(如果有更好的方法,請教我一下,謝謝您?。? HoldTime = data with open(newfile, 'a') as f: # 將非離群數(shù)據(jù)存入新文件 json.dump(HoldTime, f) f.write('\n')
補充知識:dataframe 離群值處理
離群值:遠離數(shù)據(jù)主要部分的樣本(極大值或極小值)
處理方式:
刪除:直接刪除離群樣本
填充樣本:使用box-plot定義變量的數(shù)值上下界,以上界填充極大值,以下界填充最小值
# 查看房價的離群情況 df['average_price'].hist() plt.show() df[['average_price']].boxplot() plt.show()
# 根據(jù)箱線圖的上下限進行異常值的填充 def boxplot_fill(col): # 計算iqr:數(shù)據(jù)四分之三分位值與四分之一分位值的差 iqr = col.quantile(0.75)-col.quantile(0.25) # 根據(jù)iqr計算異常值判斷閾值 u_th = col.quantile(0.75) + 1.5*iqr # 上界 l_th = col.quantile(0.25) - 1.5*iqr # 下界 # 定義轉(zhuǎn)換函數(shù):如果數(shù)字大于上界則用上界值填充,小于下界則用下界值填充。 def box_trans(x): if x > u_th: return u_th elif x < l_th: return l_th else: return x return col.map(box_trans) # 填充效果查看 boxplot_fill(df['average_price']).hist() # 進行賦值 df['average_price'] = boxplot_fill(df['average_price']) plt.show()
以上這篇python:刪除離群值操作(每一行為一類數(shù)據(jù))就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持腳本之家。
相關(guān)文章
Python創(chuàng)建相同值數(shù)組/列表的兩種方法
眾所周知數(shù)組是一種用來在計算機中存儲連續(xù)的相同類型數(shù)值的數(shù)據(jù)結(jié)構(gòu),這篇文章主要給大家介紹了關(guān)于Python創(chuàng)建相同值數(shù)組/列表的兩種方法,文中通過示例代碼介紹的非常詳細,需要的朋友可以參考下2022-12-12動態(tài)設(shè)置django的model field的默認(rèn)值操作步驟
這篇文章主要介紹了動態(tài)設(shè)置django的model field的默認(rèn)值操作步驟,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-03-03