通過5個例子讓你學會Pandas中的字符串過濾
要處理文本數(shù)據(jù),需要比數(shù)字類型的數(shù)據(jù)更多的清理步驟。為了從文本數(shù)據(jù)中提取有用和信息,通常需要執(zhí)行幾個預處理和過濾步驟。
Pandas 庫有許多可以輕松簡單地處理文本數(shù)據(jù)函數(shù)和方法。在本文中,我介紹將學習 5 種可用于過濾文本數(shù)據(jù)(即字符串)的不同方法:
- 是否包含一系列字符
- 求字符串的長度
- 判斷以特定的字符序列開始或結束
- 判斷字符為數(shù)字或字母數(shù)字
- 查找特定字符序列的出現(xiàn)次數(shù)
首先我們導入庫和數(shù)據(jù)
import pandas as pd df = pd.read_csv("example.csv") df
我們這個樣例的DataFrame 包含 6 行和 4 列。我們將使用不同的方法來處理 DataFrame 中的行。第一個過濾操作是檢查字符串是否包含特定的單詞或字符序列,使用 contains 方法查找描述字段包含“used car”的行。但是要獲得pandas中的字符串需要通過 Pandas 的 str 訪問器,代碼如下:
df[df["description"].str.contains("used car")]
但是為了在這個DataFrame中找到所有的二手車,我們需要分別查找“used”和“car”這兩個詞,因為這兩個詞可能同時出現(xiàn),但是并不是連接在一起的:
df[df["description"].str.contains("used") & df["description"].str.contains("car")]
可以看到最后一行包含“car”和“used”,但不是一起。
下一個方法是根據(jù)字符串的長度進行過濾。假設我們只對超過 15 個字符的描述感興趣??梢允褂脙?nèi)置的 len 函數(shù)來執(zhí)行此操作,如下所示:
df[df["description"].apply(lambda x: len(x) > 15)]
這里就需要編寫了一個 lambda 表達式,通過在表達式中使用 len 函數(shù)獲取長度并使用apply函數(shù)將其應用到每一行。執(zhí)行此操作的更常用和有效的方法是通過 str 訪問器來進行:
df[df["description"].str.len() > 15]
我們可以分別使用startswith和endswith基于字符串的第一個或最后一個字母進行過濾。
df[df["lot"].str.startswith("A")]
這個方法也能夠檢查前 n 個字符。例如,我們可以選擇以“A-0”開頭的行:
df[df["lot"].str.startswith("A-0")]
Python 的內(nèi)置的字符串函數(shù)都可以應用到Pandas DataFrames 中。例如,在價格列中,有一些非數(shù)字字符,如 $ 和 k。我們可以使用 isnumeric 函數(shù)過濾掉。
df[df["price"].apply(lambda x: x.isnumeric()==True)]
同樣如果需要保留字母數(shù)字(即只有字母和數(shù)字),可以使用 isalphanum 函數(shù),用法與上面相同。
count 方法可以計算單個字符或字符序列的出現(xiàn)次數(shù)。例如,查找一個單詞或字符出現(xiàn)的次數(shù)。
我們這里統(tǒng)計描述欄中的“used”的出現(xiàn)次數(shù):
df["description"].str.count("used") # 結果 0 1 1 0 2 1 3 1 4 1 5 0 Name: description, dtype: int64
如果想使用它進行條件過濾,只需將其與一個值進行比較,如下所示:
df[df["description"].str.count("used") < 1]
非常簡單吧
本文介紹了基于字符串值的 5 種不同的 Pandas DataFrames 方式。雖然一般情況下我們更關注數(shù)值類型的數(shù)據(jù),但文本數(shù)據(jù)同樣重要,并且包含許多有價值的信息。能夠對文本數(shù)據(jù)進行清理和預處理對于數(shù)據(jù)分析和建模至關重要。
附:pandas 中 按條件過濾字符串類型的值
一、使用~對字符串值取反:
1、測試數(shù)據(jù)
test_df total_bill tip smoker day time size tip_pct 57 26.41 1.50 No Sat Dinner 2 0.056797 0 16.99 1.01 No Sun Dinner 2 0.059447 48 28.55 2.05 No Sun Dinner 3 0.071804 146 18.64 1.36 No Thur Lunch 3 0.072961 130 19.08 1.50 No Thur Lunch 2 0.078616 237 32.83 1.17 Yes Sat Dinner 2 0.035638 102 44.30 2.50 Yes Sat Dinner 3 0.056433 187 30.46 2.00 Yes Sun Dinner 5 0.065660 210 30.06 2.00 Yes Sat Dinner 3 0.066534 240 27.18 2.00 Yes Sat Dinner 2 0.073584
2、需求:取出 day 字段中值不為 ‘Sta’,‘Sun’ 的記錄
test_df[~test_df['day'].str.contains('|'.join(['Sat', 'Sun']))] total_bill tip smoker day time size tip_pct 146 18.64 1.36 No Thur Lunch 3 0.072961 130 19.08 1.50 No Thur Lunch 2 0.078616
總結
到此這篇關于通過5個例子讓你學會Pandas中字符串過濾的文章就介紹到這了,更多相關Pandas字符串過濾內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!
相關文章
詳解Python中的內(nèi)建函數(shù),可迭代對象,迭代器
這篇文章主要介紹了Python內(nèi)建函數(shù),可迭代對象,迭代器,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2019-04-04Python中threading庫實現(xiàn)線程鎖與釋放鎖
threading用于提供線程相關的操作,為了保證安全的訪問一個資源對象,我們需要創(chuàng)建鎖。那么Python線程鎖與釋放鎖如何實現(xiàn),感興趣的小伙伴們可以參考一下2021-05-05python獲取全國最新省市區(qū)數(shù)據(jù)并存入表實例代碼
我們在開發(fā)中經(jīng)常會遇到獲取省市區(qū)等信息的時候,下面這篇這篇文章主要給大家介紹了關于python獲取全國最新省市區(qū)數(shù)據(jù)并存入表的相關資料,需要的朋友可以參考下2021-08-08Python基于pycrypto實現(xiàn)的AES加密和解密算法示例
這篇文章主要介紹了Python基于pycrypto實現(xiàn)的AES加密和解密算法,結合實例形式分析了Python使用pycrypto模塊進行AES加密與解密操作相關實現(xiàn)技巧,需要的朋友可以參考下2018-04-04Python使用sigthief簽發(fā)證書的實現(xiàn)步驟
Windows 系統(tǒng)中的一些非常重要文件通常會被添加數(shù)字簽名,其目的是用來防止被篡改,能確保用戶通過互聯(lián)網(wǎng)下載時能確信此代碼沒有被非法篡改和來源可信,從而保護了代碼的完整性、保護了用戶不會被病毒、惡意代碼和間諜軟件所侵害,本章將演示證書的簽發(fā)與偽造2021-06-06