詳解Python中的數(shù)據(jù)清洗工具flashtext

更新時間：2022年06月27日 08:57:13 作者：Python?集中營

FlashText是GitHub上的一個開源Python庫，正如之前所提到的，它在提取關(guān)鍵字和替換關(guān)鍵字任務(wù)上有著極高的性能。本文將詳解一下flashtext的使用，需要的可以參考一下

1、準備flashtext環(huán)境

通過pip的方式來安裝flashtext，或是其他的方式也是可以的，這里默認使用的是清華大學的鏡像站。

pip install flashtext -i https://pypi.tuna.tsinghua.edu.cn/simple

在準備好flashtext環(huán)境以后，來看一下flashtext重要的使用過程，幫助我們能更好的完成數(shù)據(jù)清洗操作。

2、添加關(guān)鍵詞

這里添加關(guān)鍵詞時是通過單個關(guān)鍵詞的來添加到關(guān)鍵詞詞庫中，使用add_keyword函數(shù)來添加。第一次參數(shù)表示需要添加的關(guān)鍵詞，第二個參數(shù)則表示為第一個關(guān)鍵詞的別名，如果關(guān)鍵詞被找到了則顯示為別名的形式，若是沒有使用第二個參數(shù)作為別名則還是顯示原有的名稱。

from flashtext import KeywordProcessor

# 初始化關(guān)鍵詞庫處理器
processor = KeywordProcessor()

# 常規(guī)方式添加關(guān)鍵詞
processor.add_keyword('Python')

# 別名方式添加關(guān)鍵詞
processor.add_keyword('Scala', 'Java')

這樣分別使用兩種方式已經(jīng)將需要的關(guān)鍵詞添加到詞庫處理器中了。

3、提取關(guān)鍵詞

通過上一步添加關(guān)鍵詞，現(xiàn)在詞庫處理器中已經(jīng)存在有關(guān)鍵詞的信息了，再使用extract_keywords將關(guān)鍵詞提取出來即可。

# 在一個字符串中提取出關(guān)鍵詞信息
found = processor.extract_keywords('I like Python and Scala.')

# 結(jié)果
print(found)

# ['Python', 'Java']

結(jié)果出來了，跟我們預想的是一樣的，并Scala也顯示為了Java。

4、替換關(guān)鍵詞

替換關(guān)鍵詞使用的是replace_keywords函數(shù)，前提是詞庫中擁有別名的詞才能被替換，就像上面的Scala被顯示成了的Java一樣。

替換一個字符串中的Scala關(guān)鍵詞，由于Scala對應的別名是Java，所以一個字符串中的Scala應該被替換為Java。

replaced = processor.replace_keywords('I like Scala.')

# 結(jié)果
print(replaced)

# I like Java.
# Scala 果真就被替換為了Java。

5、獲取所有關(guān)鍵詞

有些時候，在KeywordProcessor詞庫處理器中添加了哪些關(guān)鍵詞可能自己都記不清楚了，這個時候可以使用get_all_keywords函數(shù)來獲取當前的所有關(guān)鍵詞。

all_keywords = processor.get_all_keywords()

# 結(jié)果
print(all_keywords)
# {'python': 'Python', 'scala': 'Java'}

6、批量的添加關(guān)鍵詞

當關(guān)鍵詞庫需要更多的關(guān)鍵詞的時候，可以通過列表或是字典的方式來進行批量的添加。對應的函數(shù)分別是add_keywords_from_list、add_keywords_from_dict函數(shù)。

# 初始化一個字典通過用來做批量添加
dict_ = {
    'java': ['java_ee', 'java_se', 'java_me'],
    'python': ['pandas', 'all']
}

# 通過字典的方式來批量添加關(guān)鍵詞
processor.add_keywords_from_dict(dict_)

# 從批量添加的關(guān)鍵詞中匹配關(guān)鍵詞
result = processor.extract_keywords('looking for java_ee and pandas.')

# 結(jié)果
print(result)

# ['java', 'python']
# 通過列表的方式批量添加關(guān)鍵詞

processor.add_keywords_from_list(['scala', 'python', 'scala', 'go'])

# 通過get_all_keywords查看一下所有關(guān)鍵詞
all_keywords = processor.get_all_keywords()

# 結(jié)果
print(all_keywords)
# {'python': 'python', 'pandas': 'python', 'scala': 'scala', 'java_ee': 'java', 'java_se': 'java', 'java_me': 'java', 'all': 'python', 'go': 'go'}

發(fā)現(xiàn)所有的關(guān)鍵詞已經(jīng)添加到詞庫處理器中，并且重復的不會再次添加。

7、批量刪除關(guān)鍵詞

批量刪除詞庫處理器中的關(guān)鍵詞同樣是有兩種方式，一個是列表、另一個是字典。對應的函數(shù)分別是remove_keywords_from_list、remove_keywords_from_dict函數(shù)。

# 批量移除列表中的關(guān)鍵詞
processor.remove_keywords_from_list(['python','java_ee','java_me'])

# 批量移除字典中的關(guān)鍵詞
processor.remove_keywords_from_dict({'python': ['pandas','all']})

# 通過get_all_keywords查看一下所有關(guān)鍵詞
all_keywords = processor.get_all_keywords()

# 結(jié)果
print(all_keywords)

# {'scala': 'scala', 'java_se': 'java', 'go': 'go'}

發(fā)現(xiàn)需要移除的關(guān)鍵詞已經(jīng)被全部移除了。