讓你一文弄懂Pandas文本數(shù)據(jù)處理

更新時間：2021年08月11日 10:02:53 作者：可以叫我才哥

文本數(shù)據(jù)具有數(shù)據(jù)維度高、數(shù)據(jù)量大且語義復雜等特點,是一種較為復雜的數(shù)據(jù)類型,下面這篇文章主要給大家介紹了關于Pandas文本數(shù)據(jù)處理的相關資料,文中通過示例代碼介紹的非常詳細,需要的朋友可以參考下

前言

日常工作中我們經常接觸到一些文本類信息，需要從文本中解析出數(shù)據(jù)信息，然后再進行數(shù)據(jù)分析操作。

而對文本類信息進行解析是一件比較頭禿的事情，好巧，Pandas剛好對這類文本數(shù)據(jù)有比較好的處理方法，那就讓我們來一起學一學吧！

1. 文本數(shù)據(jù)類型

在pandas中存儲文本數(shù)據(jù)有兩種方式：object 和 string。在pandas 1.0版本之前，object是唯一的文本類型，在一列數(shù)據(jù)中如果包含數(shù)值和文本等混合類型則一般也會默認為object。在pandas 1.0 版本之后，新增了string文本類型，可以更好的支持字符串的處理。

1.1. 類型簡介

默認情況下，object仍然是文本數(shù)據(jù)默認的類型。

如果要采用string類型，我們可以通過dtype進行指定

在Series 或 Dataframe被創(chuàng)建后，我們還可以通過astype進行類型強制轉換

當然，我們還有個df.convert_dtypes()方法可以進行智能數(shù)據(jù)類型選擇

1.2. 類型差異

string和object在操作上有所不同。

對于sting來說，返回數(shù)字輸出的字符串訪問器方法將始終返回可為空的整數(shù)類型；對于object來說，是 int 或 float，具體取決于 NA 值的存在

對于string類型來說，返回布爾輸出的方法將返回一個可為空的布爾數(shù)據(jù)類型

2. 字符串方法

Series 和 Index 都有一些字符串處理方法，可以方便進行操作，最重要的是，這些方法會自動排除缺失/NA 值，我們可以通過str屬性訪問這些方法。

2.1. 文本格式

文本格式是對字符串文本進行格式操作，比如轉換大小寫之類的

>>> s = pd.Series(
...     ["A", "B", "Aaba", "Baca", np.nan, "cat"],
...     dtype="string"
... )
>>> s.str.lower() # 轉小寫
0       a
1       b
2    aaba
3    baca
4    <NA>
5     cat
dtype: string
>>> s.str.upper() # 轉大寫
0       A
1       B
2    AABA
3    BACA
4    <NA>
5     CAT
dtype: string
>>> s.str.title() # 每個單詞大寫
0       A
1       B
2    Aaba
3    Baca
4    <NA>
5     Cat
dtype: string
>>> s.str.capitalize() # 首字母大寫
0       A
1       B
2    Aaba
3    Baca
4    <NA>
5     Cat
dtype: string
>>> s.str.swapcase() # 大小寫互換
0       a
1       b
2    aABA
3    bACA
4    <NA>
5     CAT
dtype: string
>>> s.str.casefold() # 轉為小寫，支持其他語言
0       a
1       b
2    aaba
3    baca
4    <NA>
5     cat
dtype: string

2.2. 文本對齊

文本對齊是指在文本顯示的時候按照一定的規(guī)則進行對齊處理，比如左對齊、右對齊、居中等等

>>> s.str.center(10,fillchar='-') # 居中對齊，寬度為10，填充字符為'-'
0    ----A-----
1    ----B-----
2    ---Aaba---
3    ---Baca---
4          <NA>
5    ---cat----
dtype: string
>>> s.str.ljust(10,fillchar='-') # 左對齊
0    A---------
1    B---------
2    Aaba------
3    Baca------
4          <NA>
5    cat-------
dtype: string
>>> s.str.rjust(10,fillchar='-') # 右對齊
0    ---------A
1    ---------B
2    ------Aaba
3    ------Baca
4          <NA>
5    -------cat
dtype: string
>>> s.str.pad(width=10, side='left', fillchar='-') # 指定寬度，填充字符對齊方式為 left，填充字符為'-'
0    ---------A
1    ---------B
2    ------Aaba
3    ------Baca
4          <NA>
5    -------cat
dtype: string
>>> s.str.zfill(3) # 指定寬度3，不足則在前面添加0
0     00A
1     00B
2    Aaba
3    Baca
4    <NA>
5     cat
dtype: string

2.3. 計數(shù)與編碼

文本計數(shù)與內容編碼

>>> s.str.count("a") # 字符串中指定字母的數(shù)量
0       0
1       0
2       2
3       2
4    <NA>
5       1
dtype: Int64
>>> s.str.len() # 字符串的長度
0       1
1       1
2       4
3       4
4    <NA>
5       3
dtype: Int64
>>> s.str.encode('utf-8') # 編碼
0       b'A'
1       b'B'
2    b'Aaba'
3    b'Baca'
4       <NA>
5     b'cat'
dtype: object
>>> s.str.encode('utf-8').str.decode('utf-8') # 解碼
0       A
1       B
2    Aaba
3    Baca
4    <NA>
5     cat
dtype: object

2.4. 格式判斷

格式判斷就是對字符串進行字符格式判斷，比如是不是數(shù)字，是不是字母，是不是小數(shù)等等

>>> s = pd.Series(
...     ["A", "B", "Aaba", 12, 5, np.nan, "cat"],
...     dtype="string"
... )
>>> s.str.isalpha() # 是否為字母
0     True
1     True
2     True
3    False
4    False
5     <NA>
6     True
dtype: boolean
>>> s.str.isnumeric() # 是否為數(shù)字0-9
0    False
1    False
2    False
3     True
4     True
5     <NA>
6    False
dtype: boolean
>>> s.str.isalnum() # 是否由數(shù)字或字母組成
0    True
1    True
2    True
3    True
4    True
5    <NA>
6    True
dtype: boolean
>>> s.str.isdigit() # 是否為數(shù)字
0    False
1    False
2    False
3     True
4     True
5     <NA>
6    False
dtype: boolean
>>> s.str.isdecimal() # 是否為小數(shù)
0    False
1    False
2    False
3     True
4     True
5     <NA>
6    False
dtype: boolean
>>> s.str.isspace() # 是否為空格
0    False
1    False
2    False
3    False
4    False
5     <NA>
6    False
dtype: boolean
>>> s.str.islower() # 是否為小寫
0    False
1    False
2    False
3    False
4    False
5     <NA>
6     True
dtype: boolean
>>> s.str.isupper() # 是否為大寫
0     True
1     True
2    False
3    False
4    False
5     <NA>
6    False
dtype: boolean
>>> s.str.istitle() # 是否為標題格式
0     True
1     True
2     True
3    False
4    False
5     <NA>
6    False
dtype: boolean

以上這些字符串的方法其實和python原生的字符串方法基本相同。