欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

python:刪除離群值操作(每一行為一類數(shù)據(jù))

 更新時間:2020年06月08日 10:23:24   作者:1226km  
這篇文章主要介紹了python:刪除離群值操作(每一行為一類數(shù)據(jù)),具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧

刪除有多行字符串的json文件中的離群值

def processHold(eachsubject,directory,newfile):
	filename = 'CMUDataCol/Hold/subject{0}.json'.format(eachsubject) # 原文件
	
	with open(filename, 'r') as f: 
		for jsonstr in f.readlines(): # 按行讀取原文件
		# 這里的情況是每一行為一類數(shù)值,該行內(nèi)的數(shù)據(jù)相互比較找出是否有離群值
		# 若存在離群值,則刪除該行數(shù)據(jù)
			data = json.loads(jsonstr)
			
			#計算四分位點
			a = numpy.array(data) 
			q1 = numpy.percentile(a, 25)  
			q3 = numpy.percentile(a, 75)  
			iqr = q3 - q1
			
			# 找出異常值
			i = 0 
			for item in zip(data): 
				# 在正常值范圍內(nèi)時 i+1
				if item <= q3 + (1.5*iqr) and item >= q1 - (1.5*iqr):   
					i = i + 1  
					
			if i == 10: 
			# 這里是因為我的json文件中每行data有10個元素(如果有更好的方法,請教我一下,謝謝您?。? 
				HoldTime = data
				with open(newfile, 'a') as f: # 將非離群數(shù)據(jù)存入新文件
					json.dump(HoldTime, f) 
					f.write('\n') 

補充知識:dataframe 離群值處理

離群值:遠離數(shù)據(jù)主要部分的樣本(極大值或極小值)

處理方式:

刪除:直接刪除離群樣本

填充樣本:使用box-plot定義變量的數(shù)值上下界,以上界填充極大值,以下界填充最小值

# 查看房價的離群情況
df['average_price'].hist()
plt.show()
df[['average_price']].boxplot()
plt.show()

# 根據(jù)箱線圖的上下限進行異常值的填充
def boxplot_fill(col):
 # 計算iqr:數(shù)據(jù)四分之三分位值與四分之一分位值的差
 iqr = col.quantile(0.75)-col.quantile(0.25)
 # 根據(jù)iqr計算異常值判斷閾值
 u_th = col.quantile(0.75) + 1.5*iqr # 上界
 l_th = col.quantile(0.25) - 1.5*iqr # 下界
 # 定義轉(zhuǎn)換函數(shù):如果數(shù)字大于上界則用上界值填充,小于下界則用下界值填充。
 def box_trans(x):
  if x > u_th:
   return u_th
  elif x < l_th:
   return l_th
  else:
   return x
 return col.map(box_trans)
# 填充效果查看
boxplot_fill(df['average_price']).hist()
# 進行賦值
df['average_price'] = boxplot_fill(df['average_price'])
plt.show()

以上這篇python:刪除離群值操作(每一行為一類數(shù)據(jù))就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持腳本之家。

相關(guān)文章

  • Python遍歷文件夾和讀寫文件的實現(xiàn)代碼

    Python遍歷文件夾和讀寫文件的實現(xiàn)代碼

    這篇文章主要介紹了Python遍歷文件夾和讀寫文件的實現(xiàn)代碼,需要的朋友可以參考下
    2016-08-08
  • Python打印三角形九九乘法表代碼

    Python打印三角形九九乘法表代碼

    大家好,本篇文章主要講的是Python打印三角形九九乘法表代碼,感興趣的同學(xué)趕快來看一看吧,對你有幫助的話記得收藏一下,方便下次瀏覽
    2021-12-12
  • Python創(chuàng)建相同值數(shù)組/列表的兩種方法

    Python創(chuàng)建相同值數(shù)組/列表的兩種方法

    眾所周知數(shù)組是一種用來在計算機中存儲連續(xù)的相同類型數(shù)值的數(shù)據(jù)結(jié)構(gòu),這篇文章主要給大家介紹了關(guān)于Python創(chuàng)建相同值數(shù)組/列表的兩種方法,文中通過示例代碼介紹的非常詳細,需要的朋友可以參考下
    2022-12-12
  • 使用SAE部署Python運行環(huán)境的教程

    使用SAE部署Python運行環(huán)境的教程

    這篇文章主要介紹了使用SAE部署Python運行環(huán)境的教程,SAE作為新浪的在線軟件部署平臺,在國內(nèi)擁有一定的性價比,需要的朋友可以參考下
    2015-05-05
  • Django choices下拉列表綁定實例

    Django choices下拉列表綁定實例

    這篇文章主要介紹了Django choices下拉列表綁定實例,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-03-03
  • python語音識別實踐之百度語音API

    python語音識別實踐之百度語音API

    這篇文章主要為大家詳細介紹了python語音識別實踐之百度語音API,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2018-08-08
  • 動態(tài)設(shè)置django的model field的默認(rèn)值操作步驟

    動態(tài)設(shè)置django的model field的默認(rèn)值操作步驟

    這篇文章主要介紹了動態(tài)設(shè)置django的model field的默認(rèn)值操作步驟,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-03-03
  • python如何將mat文件轉(zhuǎn)為png

    python如何將mat文件轉(zhuǎn)為png

    這篇文章主要介紹了python如何將mat文件轉(zhuǎn)為png,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教
    2022-07-07
  • Django異步任務(wù)線程池實現(xiàn)原理

    Django異步任務(wù)線程池實現(xiàn)原理

    這篇文章主要介紹了Django異步任務(wù)線程池實現(xiàn)原理,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
    2019-12-12
  • 通過Python pyecharts輸出保存圖片代碼實例

    通過Python pyecharts輸出保存圖片代碼實例

    這篇文章主要介紹了通過Python pyecharts輸出保存圖片代碼實例,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
    2020-11-11

最新評論