在我們?nèi)粘＝佑|到的Python中，狹義的缺失值一般指DataFrame中的NaN。廣義的話，可以分為三種。

• 缺失值：在Pandas中的缺失值有三種：np.nan (Not a Number) 、 None 和 pd.NaT(時間格式的空值，注意大小寫不能錯)
• 空值：空值在Pandas中指的是空字符串""；
• 最后一類是導(dǎo)入的Excel等文件中，原本用于表示缺失值的字符“-”、“？”等。

今天聊聊Python中查詢?nèi)笔е档?種方法。

缺失值 NaN ①

在Pandas中查詢?nèi)笔е?，最常用?法就是isnull()，返回True表示此處為缺失值。

我們可以將其與any()?法搭配使用來查詢存在缺失值的行，也可以與sum()?法搭配使用來查詢存在缺失值的列。

• isnull()：對于缺失值，返回True；對于?缺失值，返回False。
• any()：?個序列中有?個True，則返回True，否則返回False。
• sum()：對序列進(jìn)行求和計算。

在交互式環(huán)境中輸入如下命令：

df.isnull()

輸出：

在交互式環(huán)境中輸入如下命令：

df.isnull().any(axis=1)

輸出：

在交互式環(huán)境中輸入如下命令：

df.isnull().sum()

輸出：

注：isna()和isnull()的用法是相同的，這里不再演示

缺失值 NaN ②

由于在Pandas中isnull()方法返回True表示此處為缺失值，所以我們可以對數(shù)據(jù)集進(jìn)行切片也可實現(xiàn)找到缺失值。

在交互式環(huán)境中輸入如下命令：

df[df.isnull().values==True]

輸出：

注意：如果某行有多個值是空值，則會重復(fù)次數(shù)出現(xiàn)，所以我們可以利用df[df.isnull().values==True].drop_duplicates()來去重。

另外，notnull()方法是與isnull()相對應(yīng)的，使用它可以直接查詢非缺失值的數(shù)據(jù)行。

df[df["A列"].notnull()]

輸出：

空值

空值在Pandas中指的是空字符串""，我們同樣可以對數(shù)據(jù)集進(jìn)行切片找到空值。

在交互式環(huán)境中輸入如下命令：

df[df["B列"]?==?""]

輸出：

此外，也可以利用空值與正常值的區(qū)別來區(qū)分兩者，比如isnumeric()方法檢測字符串是否只由數(shù)字組成。

在交互式環(huán)境中輸入如下命令：

df[df["B列"].str.isnumeric()?==?False?]

輸出：

如上所示，同樣查詢到了數(shù)據(jù)集中的空值。

字符“-”、“？”等

很多時候，我們要處理的是本地的歷史數(shù)據(jù)文件，在這些Excel中往往并不規(guī)范，比如它們有可能會使用“*”、“？”、“—”、“！”等等字符來表示缺失值。

對于這類文本，我們可以使用正則表達(dá)式來匹配缺失值。

import?re
df[df["C列"].apply(lambda?x:?len(re.findall('NA|[*|?|!|#|-]',?x))?!=?0)]

輸出：

如上所示，我自定義了匿名函數(shù)lambda，作用是在文本列的每一行中查找以下文本值：“NA”、“*”、“？” 、“！” 、“#”、“-”，并檢查它找到的列表的長度。如果列表不為零，則表示找到了代表缺失值的字符，因此該行中至少有一個缺失值。

df[df["D列"].apply(lambda?x:?len(re.findall('NA|[*|?|!|#|-]',?x))?!=?0)]

輸出：

我們可以對不同列都進(jìn)行同樣的缺失值查詢，另外也可以根據(jù)自己的實際情況，替換正則表達(dá)式中代表缺失值的字符。

到此這篇關(guān)于Python查詢?nèi)笔е档?種方法總結(jié)的文章就介紹到這了,更多相關(guān)Python查詢?nèi)笔е祪?nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評論