通過5個例子讓你學會Pandas中的字符串過濾
要處理文本數據，需要比數字類型的數據更多的清理步驟。為了從文本數據中提取有用和信息，通常需要執(zhí)行幾個預處理和過濾步驟。
Pandas 庫有許多可以輕松簡單地處理文本數據函數和方法。在本文中，我介紹將學習 5 種可用于過濾文本數據（即字符串）的不同方法：
- 是否包含一系列字符
- 求字符串的長度
- 判斷以特定的字符序列開始或結束
- 判斷字符為數字或字母數字
- 查找特定字符序列的出現次數
首先我們導入庫和數據
import pandas as pd
df = pd.read_csv("example.csv")
df
我們這個樣例的DataFrame 包含 6 行和 4 列。我們將使用不同的方法來處理 DataFrame 中的行。第一個過濾操作是檢查字符串是否包含特定的單詞或字符序列，使用 contains 方法查找描述字段包含“used car”的行。但是要獲得pandas中的字符串需要通過 Pandas 的 str 訪問器，代碼如下：
df[df["description"].str.contains("used car")]
但是為了在這個DataFrame中找到所有的二手車，我們需要分別查找“used”和“car”這兩個詞，因為這兩個詞可能同時出現，但是并不是連接在一起的：
df[df["description"].str.contains("used") &
df["description"].str.contains("car")]
可以看到最后一行包含“car”和“used”，但不是一起。
下一個方法是根據字符串的長度進行過濾。假設我們只對超過 15 個字符的描述感興趣?？梢允褂脙戎玫?len 函數來執(zhí)行此操作，如下所示：
df[df["description"].apply(lambda x: len(x) > 15)]
這里就需要編寫了一個 lambda 表達式，通過在表達式中使用 len 函數獲取長度并使用apply函數將其應用到每一行。執(zhí)行此操作的更常用和有效的方法是通過 str 訪問器來進行：
df[df["description"].str.len() > 15]
我們可以分別使用startswith和endswith基于字符串的第一個或最后一個字母進行過濾。
df[df["lot"].str.startswith("A")]
這個方法也能夠檢查前 n 個字符。例如，我們可以選擇以“A-0”開頭的行：
df[df["lot"].str.startswith("A-0")]
Python 的內置的字符串函數都可以應用到Pandas DataFrames 中。例如，在價格列中，有一些非數字字符，如 $ 和 k。我們可以使用 isnumeric 函數過濾掉。
df[df["price"].apply(lambda x: x.isnumeric()==True)]
同樣如果需要保留字母數字（即只有字母和數字），可以使用 isalphanum 函數，用法與上面相同。
count 方法可以計算單個字符或字符序列的出現次數。例如，查找一個單詞或字符出現的次數。
我們這里統計描述欄中的“used”的出現次數：
df["description"].str.count("used")
# 結果
0 1
1 0
2 1
3 1
4 1
5 0
Name: description, dtype: int64
如果想使用它進行條件過濾，只需將其與一個值進行比較，如下所示：
df[df["description"].str.count("used") < 1]
非常簡單吧
本文介紹了基于字符串值的 5 種不同的 Pandas DataFrames 方式。雖然一般情況下我們更關注數值類型的數據，但文本數據同樣重要，并且包含許多有價值的信息。能夠對文本數據進行清理和預處理對于數據分析和建模至關重要。
附：pandas 中 按條件過濾字符串類型的值
一、使用~對字符串值取反：
1、測試數據
test_df
total_bill tip smoker day time size tip_pct
57 26.41 1.50 No Sat Dinner 2 0.056797
0 16.99 1.01 No Sun Dinner 2 0.059447
48 28.55 2.05 No Sun Dinner 3 0.071804
146 18.64 1.36 No Thur Lunch 3 0.072961
130 19.08 1.50 No Thur Lunch 2 0.078616
237 32.83 1.17 Yes Sat Dinner 2 0.035638
102 44.30 2.50 Yes Sat Dinner 3 0.056433
187 30.46 2.00 Yes Sun Dinner 5 0.065660
210 30.06 2.00 Yes Sat Dinner 3 0.066534
240 27.18 2.00 Yes Sat Dinner 2 0.073584
2、需求：取出 day 字段中值不為 ‘Sta’,‘Sun’ 的記錄
test_df[~test_df['day'].str.contains('|'.join(['Sat', 'Sun']))]
total_bill tip smoker day time size tip_pct
146 18.64 1.36 No Thur Lunch 3 0.072961
130 19.08 1.50 No Thur Lunch 2 0.078616
總結
到此這篇關于通過5個例子讓你學會Pandas中字符串過濾的文章就介紹到這了,更多相關Pandas字符串過濾內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
這篇文章主要介紹了python爬蟲 Pyppeteer使用方法解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-09-09
這篇文章主要為大家詳細介紹了如何基于Python實現一個簡單的新聞爬取系統，文中的示例代碼講解詳細，具有一定的學習價值，感興趣的小伙伴可以了解一下2023-06-06
JavaScript和Python都是極為流行的編程語言,并在前端開發(fā)和后端開發(fā)領域扮演著重要的角色,那么Python如何更好的契合JavaScript呢,下面就跟隨小編一起學習一下吧2024-02-02
今天小編就為大家分享一篇Python實現ping指定IP的示例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-06-06
這篇文章主要介紹了Python內建函數,可迭代對象,迭代器，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-04-04
threading用于提供線程相關的操作，為了保證安全的訪問一個資源對象，我們需要創(chuàng)建鎖。那么Python線程鎖與釋放鎖如何實現，感興趣的小伙伴們可以參考一下2021-05-05
我們在開發(fā)中經常會遇到獲取省市區(qū)等信息的時候,下面這篇這篇文章主要給大家介紹了關于python獲取全國最新省市區(qū)數據并存入表的相關資料,需要的朋友可以參考下2021-08-08
Python基于pycrypto實現的AES加密和解密算法示例
這篇文章主要介紹了Python基于pycrypto實現的AES加密和解密算法,結合實例形式分析了Python使用pycrypto模塊進行AES加密與解密操作相關實現技巧,需要的朋友可以參考下2018-04-04
這篇文章主要介紹了Django自定義過濾器定義與用法,結合實例形式分析了Django自定義過濾器的概念、功能、定義及使用方法,需要的朋友可以參考下2018-03-03
Windows 系統中的一些非常重要文件通常會被添加數字簽名，其目的是用來防止被篡改，能確保用戶通過互聯網下載時能確信此代碼沒有被非法篡改和來源可信，從而保護了代碼的完整性、保護了用戶不會被病毒、惡意代碼和間諜軟件所侵害，本章將演示證書的簽發(fā)與偽造2021-06-06