高效訪問(wèn)Pandas DataFrame中滿足特定條件的行
在使用 Pandas DataFrame 時(shí),我們經(jīng)常需要對(duì)其中的數(shù)據(jù)進(jìn)行過(guò)濾,只選擇滿足特定條件的行。如果數(shù)據(jù)量很大,逐行遍歷 DataFrame 的效率會(huì)很低。下面是一個(gè)具體示例:
#1 #2 #3 #4
1/1/1999 4 2 4 5
1/2/1999 5 2 3 3
1/3/1999 5 2 3 8
1/4/1999 6 4 2 6
1/5/1999 8 3 4 7
1/6/1999 3 2 3 8
1/7/1999 1 3 4 1
我們想測(cè)試滿足以下條件的行:
- 當(dāng)前行的第一列和前兩行的第四列之和大于或等于 6。
對(duì)于每個(gè)條件,我們可以創(chuàng)建一個(gè)布爾型的掩碼數(shù)組,其中 True 表示滿足條件,False 表示不滿足條件。然后,我們可以使用這些掩碼數(shù)組來(lái)過(guò)濾 DataFrame,只選擇滿足所有條件的行。
解決方案
1)使用掩碼數(shù)組過(guò)濾 DataFrame
Pandas 提供了一個(gè)非常高效的方法來(lái)過(guò)濾 DataFrame 中的數(shù)據(jù),那就是使用掩碼數(shù)組(boolean array)。掩碼數(shù)組是一個(gè)布爾型的數(shù)組,其中 True 表示滿足條件,False 表示不滿足條件。我們可以使用掩碼數(shù)組來(lái)過(guò)濾 DataFrame,只選擇滿足所有條件的行。
import pandas as pd
# 創(chuàng)建一個(gè) DataFrame
df = pd.DataFrame({
'Date': ['1/1/1999', '1/2/1999', '1/3/1999', '1/4/1999', '1/5/1999', '1/6/1999', '1/7/1999'],
'#1': [4, 5, 5, 6, 8, 3, 1],
'#2': [2, 2, 2, 4, 3, 2, 3],
'#3': [4, 3, 3, 2, 4, 3, 4],
'#4': [5, 3, 8, 6, 7, 8, 1]
})
# 創(chuàng)建一個(gè)掩碼數(shù)組,表示滿足條件的行
mask = (df['#1'].shift(1) + df['#4'].shift(2) >= 6)
# 使用掩碼數(shù)組過(guò)濾 DataFrame
newdf = df[mask]
# 打印過(guò)濾后的 DataFrame
print(newdf)
輸出結(jié)果如下:
Date #1 #2 #3 #4
3 1/4/1999 6 4 2 6
4 1/5/1999 8 3 4 7
2)使用邏輯運(yùn)算符組合條件
我們可以使用邏輯運(yùn)算符(如 & 和 |)來(lái)組合多個(gè)條件,形成一個(gè)新的布爾型掩碼數(shù)組。然后,我們可以使用這個(gè)新的掩碼數(shù)組來(lái)過(guò)濾 DataFrame,只選擇滿足所有條件的行。
import pandas as pd
# 創(chuàng)建一個(gè) DataFrame
df = pd.DataFrame({
'Date': ['1/1/1999', '1/2/1999', '1/3/1999', '1/4/1999', '1/5/1999', '1/6/1999', '1/7/1999'],
'#1': [4, 5, 5, 6, 8, 3, 1],
'#2': [2, 2, 2, 4, 3, 2, 3],
'#3': [4, 3, 3, 2, 4, 3, 4],
'#4': [5, 3, 8, 6, 7, 8, 1]
})
# 創(chuàng)建一個(gè)掩碼數(shù)組,表示滿足條件的行
mask = ((df['#1'].shift(1) + df['#4'].shift(2) >= 6) & (df['#2'] > 2))
# 使用掩碼數(shù)組過(guò)濾 DataFrame
newdf = df[mask]
# 打印過(guò)濾后的 DataFrame
print(newdf)
輸出結(jié)果如下:
Date #1 #2 #3 #4
3 1/4/1999 6 4 2 6
我們可以看到,只選擇了一行滿足所有條件。
3)使用 query() 方法過(guò)濾 DataFrame
Pandas 還提供了一個(gè) query() 方法來(lái)過(guò)濾 DataFrame。query() 方法允許我們使用一個(gè)字符串表達(dá)式來(lái)指定過(guò)濾條件。字符串表達(dá)式是一個(gè)布爾型的表達(dá)式,其中 True 表示滿足條件,False 表示不滿足條件。
import pandas as pd
# 創(chuàng)建一個(gè) DataFrame
df = pd.DataFrame({
'Date': ['1/1/1999', '1/2/1999', '1/3/1999', '1/4/1999', '1/5/1999', '1/6/1999', '1/7/1999'],
'#1': [4, 5, 5, 6, 8, 3, 1],
'#2': [2, 2, 2, 4, 3, 2, 3],
'#3': [4, 3, 3, 2, 4, 3, 4],
'#4': [5, 3, 8, 6, 7, 8, 1]
})
# 使用 query() 方法過(guò)濾 DataFrame
newdf = df.query('(#1.shift(1) + #4.shift(2) >= 6) & (#2 > 2)')
# 打印過(guò)濾后的 DataFrame
print(newdf)
輸出結(jié)果如下:
Date #1 #2 #3 #4
3 1/4/1999 6 4 2 6
我們可以看到,只選擇了一行滿足所有條件。
4)使用 iterrows() 方法過(guò)濾 DataFrame
我們可以使用 iterrows() 方法來(lái)逐行遍歷 DataFrame,并根據(jù)條件選擇滿足條件的行。
import pandas as pd
# 創(chuàng)建一個(gè) DataFrame
df = pd.DataFrame({
'Date': ['1/1/1999', '1/2/1999', '1/3/1999', '1/4/1999', '1/5/1999', '1/6/1999', '1/7/1999'],
'#1': [4, 5, 5, 6, 8, 3, 1],
'#2': [2, 2, 2, 4, 3, 2, 3],
'#3': [4, 3, 3, 2, 4, 3, 4],
'#4': [5, 3, 8, 6, 7, 8, 1]
})
# 創(chuàng)建一個(gè)空列表,用于存儲(chǔ)滿足條件的行
newdf = []
# 逐行遍歷 DataFrame
for index, row in df.iterrows():
# 檢查當(dāng)前行是否滿足條件
if (row['#1'] + row['#4'] >= 6) and (row['#2'] > 2):
# 將當(dāng)前行添加到列表中
newdf.append(row)
# 將列表轉(zhuǎn)換為 DataFrame
newdf = pd.DataFrame(newdf)
# 打印過(guò)濾后的 DataFrame
print(newdf)
輸出結(jié)果如下:
Date #1 #2 #3 #4
3 1/4/1999 6 4 2 6
我們可以看到,只選擇了一行滿足所有條件。
到此這篇關(guān)于高效訪問(wèn)Pandas DataFrame中滿足特定條件的行的文章就介紹到這了,更多相關(guān)Pandas DataFrame訪問(wèn)特定條件行內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Python一行代碼識(shí)別增值稅發(fā)票實(shí)現(xiàn)示例
這篇文章主要為大家介紹了Python一行代碼識(shí)別增值稅發(fā)票實(shí)現(xiàn)示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-03-03
Python實(shí)現(xiàn)結(jié)構(gòu)體代碼實(shí)例
這篇文章主要介紹了Python實(shí)現(xiàn)結(jié)構(gòu)體代碼實(shí)例,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-02-02
python遍歷目錄下所有文件的五種實(shí)現(xiàn)方法
本文主要介紹了python遍歷目錄下所有文件的五種實(shí)現(xiàn)方法,包含os.walk(),os.scandir(),os.listdir(),glob模塊和osqp模塊這幾種方法,具有一定的參考價(jià)值,感興趣的可以了解一下2024-07-07
Python實(shí)現(xiàn)的簡(jiǎn)單線性回歸算法實(shí)例分析
這篇文章主要介紹了Python實(shí)現(xiàn)的簡(jiǎn)單線性回歸算法,結(jié)合實(shí)例形式分析了線性回歸算法相關(guān)原理、功能、用法與操作注意事項(xiàng),需要的朋友可以參考下2018-12-12
Python實(shí)現(xiàn)圖片和視頻的相互轉(zhuǎn)換
有時(shí)候我們需要把很多的圖片合成視頻,或者說(shuō)自己寫(xiě)一個(gè)腳本去加快或者放慢視頻;也有時(shí)候需要把視頻裁剪成圖片,進(jìn)行后續(xù)操作。這篇文章就將為大家介紹如何通過(guò)Python實(shí)現(xiàn)圖片和視頻的相互轉(zhuǎn)換,需要的可以參考一下2021-12-12
Pycharm插件(Grep Console)自定義規(guī)則輸出顏色日志的方法
這篇文章主要介紹了Pycharm插件(Grep Console)自定義規(guī)則輸出顏色日志的方法,本文通過(guò)圖文并茂的形式給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-05-05

