通過5個(gè)例子讓你學(xué)會(huì)Pandas中的字符串過濾
要處理文本數(shù)據(jù),需要比數(shù)字類型的數(shù)據(jù)更多的清理步驟。為了從文本數(shù)據(jù)中提取有用和信息,通常需要執(zhí)行幾個(gè)預(yù)處理和過濾步驟。
Pandas 庫有許多可以輕松簡單地處理文本數(shù)據(jù)函數(shù)和方法。在本文中,我介紹將學(xué)習(xí) 5 種可用于過濾文本數(shù)據(jù)(即字符串)的不同方法:
- 是否包含一系列字符
- 求字符串的長度
- 判斷以特定的字符序列開始或結(jié)束
- 判斷字符為數(shù)字或字母數(shù)字
- 查找特定字符序列的出現(xiàn)次數(shù)
首先我們導(dǎo)入庫和數(shù)據(jù)
import pandas as pd df = pd.read_csv("example.csv") df
我們這個(gè)樣例的DataFrame 包含 6 行和 4 列。我們將使用不同的方法來處理 DataFrame 中的行。第一個(gè)過濾操作是檢查字符串是否包含特定的單詞或字符序列,使用 contains 方法查找描述字段包含“used car”的行。但是要獲得pandas中的字符串需要通過 Pandas 的 str 訪問器,代碼如下:
df[df["description"].str.contains("used car")]
但是為了在這個(gè)DataFrame中找到所有的二手車,我們需要分別查找“used”和“car”這兩個(gè)詞,因?yàn)檫@兩個(gè)詞可能同時(shí)出現(xiàn),但是并不是連接在一起的:
df[df["description"].str.contains("used") & df["description"].str.contains("car")]
可以看到最后一行包含“car”和“used”,但不是一起。
下一個(gè)方法是根據(jù)字符串的長度進(jìn)行過濾。假設(shè)我們只對超過 15 個(gè)字符的描述感興趣??梢允褂脙?nèi)置的 len 函數(shù)來執(zhí)行此操作,如下所示:
df[df["description"].apply(lambda x: len(x) > 15)]
這里就需要編寫了一個(gè) lambda 表達(dá)式,通過在表達(dá)式中使用 len 函數(shù)獲取長度并使用apply函數(shù)將其應(yīng)用到每一行。執(zhí)行此操作的更常用和有效的方法是通過 str 訪問器來進(jìn)行:
df[df["description"].str.len() > 15]
我們可以分別使用startswith和endswith基于字符串的第一個(gè)或最后一個(gè)字母進(jìn)行過濾。
df[df["lot"].str.startswith("A")]
這個(gè)方法也能夠檢查前 n 個(gè)字符。例如,我們可以選擇以“A-0”開頭的行:
df[df["lot"].str.startswith("A-0")]
Python 的內(nèi)置的字符串函數(shù)都可以應(yīng)用到Pandas DataFrames 中。例如,在價(jià)格列中,有一些非數(shù)字字符,如 $ 和 k。我們可以使用 isnumeric 函數(shù)過濾掉。
df[df["price"].apply(lambda x: x.isnumeric()==True)]
同樣如果需要保留字母數(shù)字(即只有字母和數(shù)字),可以使用 isalphanum 函數(shù),用法與上面相同。
count 方法可以計(jì)算單個(gè)字符或字符序列的出現(xiàn)次數(shù)。例如,查找一個(gè)單詞或字符出現(xiàn)的次數(shù)。
我們這里統(tǒng)計(jì)描述欄中的“used”的出現(xiàn)次數(shù):
df["description"].str.count("used") # 結(jié)果 0 1 1 0 2 1 3 1 4 1 5 0 Name: description, dtype: int64
如果想使用它進(jìn)行條件過濾,只需將其與一個(gè)值進(jìn)行比較,如下所示:
df[df["description"].str.count("used") < 1]
非常簡單吧
本文介紹了基于字符串值的 5 種不同的 Pandas DataFrames 方式。雖然一般情況下我們更關(guān)注數(shù)值類型的數(shù)據(jù),但文本數(shù)據(jù)同樣重要,并且包含許多有價(jià)值的信息。能夠?qū)ξ谋緮?shù)據(jù)進(jìn)行清理和預(yù)處理對于數(shù)據(jù)分析和建模至關(guān)重要。
附:pandas 中 按條件過濾字符串類型的值
一、使用~對字符串值取反:
1、測試數(shù)據(jù)
test_df total_bill tip smoker day time size tip_pct 57 26.41 1.50 No Sat Dinner 2 0.056797 0 16.99 1.01 No Sun Dinner 2 0.059447 48 28.55 2.05 No Sun Dinner 3 0.071804 146 18.64 1.36 No Thur Lunch 3 0.072961 130 19.08 1.50 No Thur Lunch 2 0.078616 237 32.83 1.17 Yes Sat Dinner 2 0.035638 102 44.30 2.50 Yes Sat Dinner 3 0.056433 187 30.46 2.00 Yes Sun Dinner 5 0.065660 210 30.06 2.00 Yes Sat Dinner 3 0.066534 240 27.18 2.00 Yes Sat Dinner 2 0.073584
2、需求:取出 day 字段中值不為 ‘Sta’,‘Sun’ 的記錄
test_df[~test_df['day'].str.contains('|'.join(['Sat', 'Sun']))] total_bill tip smoker day time size tip_pct 146 18.64 1.36 No Thur Lunch 3 0.072961 130 19.08 1.50 No Thur Lunch 2 0.078616
總結(jié)
到此這篇關(guān)于通過5個(gè)例子讓你學(xué)會(huì)Pandas中字符串過濾的文章就介紹到這了,更多相關(guān)Pandas字符串過濾內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
基于Python實(shí)現(xiàn)新聞爬取系統(tǒng)
這篇文章主要為大家詳細(xì)介紹了如何基于Python實(shí)現(xiàn)一個(gè)簡單的新聞爬取系統(tǒng),文中的示例代碼講解詳細(xì),具有一定的學(xué)習(xí)價(jià)值,感興趣的小伙伴可以了解一下2023-06-06詳解如何在Python中有效調(diào)用JavaScript
JavaScript和Python都是極為流行的編程語言,并在前端開發(fā)和后端開發(fā)領(lǐng)域扮演著重要的角色,那么Python如何更好的契合JavaScript呢,下面就跟隨小編一起學(xué)習(xí)一下吧2024-02-02Python實(shí)現(xiàn)ping指定IP的示例
今天小編就為大家分享一篇Python實(shí)現(xiàn)ping指定IP的示例,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-06-06詳解Python中的內(nèi)建函數(shù),可迭代對象,迭代器
這篇文章主要介紹了Python內(nèi)建函數(shù),可迭代對象,迭代器,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-04-04Python中threading庫實(shí)現(xiàn)線程鎖與釋放鎖
threading用于提供線程相關(guān)的操作,為了保證安全的訪問一個(gè)資源對象,我們需要?jiǎng)?chuàng)建鎖。那么Python線程鎖與釋放鎖如何實(shí)現(xiàn),感興趣的小伙伴們可以參考一下2021-05-05python獲取全國最新省市區(qū)數(shù)據(jù)并存入表實(shí)例代碼
我們在開發(fā)中經(jīng)常會(huì)遇到獲取省市區(qū)等信息的時(shí)候,下面這篇這篇文章主要給大家介紹了關(guān)于python獲取全國最新省市區(qū)數(shù)據(jù)并存入表的相關(guān)資料,需要的朋友可以參考下2021-08-08Python基于pycrypto實(shí)現(xiàn)的AES加密和解密算法示例
這篇文章主要介紹了Python基于pycrypto實(shí)現(xiàn)的AES加密和解密算法,結(jié)合實(shí)例形式分析了Python使用pycrypto模塊進(jìn)行AES加密與解密操作相關(guān)實(shí)現(xiàn)技巧,需要的朋友可以參考下2018-04-04Python使用sigthief簽發(fā)證書的實(shí)現(xiàn)步驟
Windows 系統(tǒng)中的一些非常重要文件通常會(huì)被添加數(shù)字簽名,其目的是用來防止被篡改,能確保用戶通過互聯(lián)網(wǎng)下載時(shí)能確信此代碼沒有被非法篡改和來源可信,從而保護(hù)了代碼的完整性、保護(hù)了用戶不會(huì)被病毒、惡意代碼和間諜軟件所侵害,本章將演示證書的簽發(fā)與偽造2021-06-06