Python?數(shù)據(jù)篩選功能實現(xiàn)
無論是在數(shù)據(jù)分析還是數(shù)據(jù)挖掘的時候,數(shù)據(jù)篩選總會涉及到。這里我總結(jié)了一下python中列表,字典,數(shù)據(jù)框中一些常用的數(shù)據(jù)篩選的方法。
1.列表
案例一:從一個含有數(shù)字0-9的列表中篩選出偶數(shù)(奇數(shù)):
1.enumerate方法(生成兩列數(shù)據(jù),第一列是索引,第二列是數(shù)值)
num=[i for i in range(10)] num1=[] for index,count in enumerate(num): if count%2==0: num1.append(num[index]) print(num1)
2.列表推導(dǎo)式(常用)
num=[i for i in range(10) if i%2==0] print(num)
二者輸出結(jié)果都是[0,2,4,6,8],相比之下列表推導(dǎo)式要簡潔的多
2.字典
案例二:從一個包含學(xué)生姓名和成績的字典中,篩選出成績大于60的學(xué)生
首先,我們構(gòu)造一個字典inf:
name=['Bob','Jim','Gin','Angel'] grade=[80,55,75,95] inf=dict(zip(name,grade)) print(inf)
輸出結(jié)果為:{‘Bob’: 80, ‘Jim’: 55, ‘Gin’: 75, ‘Angel’: 95}
以下,我們可以通過字典推導(dǎo)式篩選出學(xué)生成績(大于60):
dict1={key:value for key,value in inf.items() if value>60} print(dict1)
輸出結(jié)果:{‘Bob’: 80, ‘Gin’: 75, ‘Angel’: 95}
如果你只是想要返回成績大于60的學(xué)生名字或者分?jǐn)?shù)的話,可以將dict1中的key:value部分改為key或者value即可.當(dāng)然上述步驟是先建立一個字典,然后再從字典里篩選出符合特定條件的值??刹豢梢砸徊酵瓿赡??
當(dāng)然闊以~
dict2={name[i]:grade[i] for i in range(len(grade)) if grade[i]>60} print(dict2)
輸出結(jié)果也是{‘Bob’: 80, ‘Gin’: 75, ‘Angel’: 95}.不過,這里需要注意的是:如果列表name 和列表grade長度不一致的話,后面for循環(huán)中的len函數(shù)應(yīng)該去長度較短的列表!
3.數(shù)據(jù)框
案例三:利用pandas從招聘信息表中篩選出特定條件的信息
首先,導(dǎo)入數(shù)據(jù)
import pandas as pd df=pd.read_excel('job_information.xls',encoding='utf-8') df
招聘信息表如下:
A. 篩選出工作經(jīng)驗(exp)為4年的招聘信息
df[df['exp'].isin([4])]
通用篩選方式:data[data[‘篩選列’].isin([num])]
需要注意的是:isin函數(shù)里篩選的num必須用[]括起來!可以是一個,也可以是多個。但只能對特定的數(shù)字進行篩選,最后篩選的結(jié)果如下:
B. 篩選出具體給明的工資(salary)(過濾掉薪資面議)
df[df['salary'].str.contains('K')]
通用篩選方式:data[data[‘篩選列’].str.contains(‘特定字符’)]
需要注意的是:只能對特定的字符串進行篩選,最后篩選結(jié)果如下:
C.篩選出只含有K的工資(過濾14薪等以及薪資面議)
df[~df['salary'].str.contains('薪')]
因為這里需要過濾的字符都出現(xiàn)了"薪",我們依舊可以使用contains函數(shù)。需要注意的是"~“代表"非”(在對于isin函數(shù)也有用!),即排除salary中包含"薪" 這個字符的所有數(shù)據(jù)。最后,篩選結(jié)果如下:
D.篩選出含有K的工資(包括14薪等)
這里由于展示的數(shù)據(jù)樣本少,該方法最終呈現(xiàn)的效果是和方法B是一樣的。使用的方法是:apply函數(shù)+正則
def select(x): pat='[0-9]?[0-9]K-[0-9]?[0-9]K' rst=re.search(pat,x) if rst: return rst.group(0) return 0 df['salary'].apply(select)
需要注意的是:在使用group函數(shù)的時候,需要先判斷是否可以先查到對應(yīng)的值。否則會報錯(NoneType object has no attribute ‘group’ )。最后篩選的結(jié)果如下:
此外,還有一些篩選數(shù)據(jù)的方法如pivot_table(數(shù)據(jù)透視表),filter函數(shù)+lambda函數(shù)等,這就需要大家在實際應(yīng)用的時候靈活選擇。
到此這篇關(guān)于Python 數(shù)據(jù)篩選的文章就介紹到這了,更多相關(guān)Python 數(shù)據(jù)篩選內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Python使用matplotlib時顯示中文亂碼解決方法(或更改字體)
這篇文章主要給大家介紹了關(guān)于Python使用matplotlib時顯示中文亂碼的解決方法(或更改字體),在Matplotlib中,中文亂碼問題通常出現(xiàn)在圖表的標(biāo)題、標(biāo)簽和刻度上,文中通過代碼介紹的非常詳細(xì),需要的朋友可以參考下2023-12-12Python連接MySQL數(shù)據(jù)庫并查找表信息
本文主要介紹了Python連接MySQL數(shù)據(jù)庫并查找表信息,通過使用Python中的MySQL Connector模塊,連接到MySQL服務(wù)器并執(zhí)行SQL查詢語句,可以獲取表的結(jié)構(gòu)、列信息、行數(shù)據(jù)等,感興趣的可以了解一下2023-08-08