Python利用FlashText算法實現(xiàn)替換字符串
前言
FlashText 算法是由 Vikash Singh 于2017年發(fā)表的大規(guī)模關鍵詞替換算法，這個算法的時間復雜度僅由文本長度（N）決定，算法時間復雜度為O（N）。
而對于正則表達式的替換，算法時間復雜度還需要考慮被替換的關鍵詞數量（M），因此時間復雜度為O（MxN）。
簡而言之，基于FlashText算法的字符串替換比正則表達式替換快M倍以上，這個M是需要替換的關鍵詞數量，關鍵詞越多，F(xiàn)lashText算法的優(yōu)勢就越明顯。
下面就給大家介紹如何在 Python 中基于 flashtext 模塊使用 FlashText 算法進行字符串查找和替換，如果覺得對你的項目團隊很有幫助，請記得幫作者轉發(fā)一下哦。
1.準備
請選擇以下任一種方式輸入命令安裝依賴：
1. Windows 環(huán)境 打開 Cmd (開始-運行-CMD)。
2. MacOS 環(huán)境 打開 Terminal (command+空格輸入Terminal)。
3. 如果你用的是 VSCode編輯器 或 Pycharm，可以直接使用界面下方的Terminal.
pip install flashtext
2.基本使用
提取關鍵詞
一個最基本的提取關鍵詞的例子如下：
from?flashtext?import?KeywordProcessor
# 1. 初始化關鍵字處理器
keyword_processor = KeywordProcessor()
# 2. 添加關鍵詞
keyword_processor.add_keyword('Big Apple',?'New York')
keyword_processor.add_keyword('Bay Area')
# 3. 處理目標句子并提取相應關鍵詞
keywords_found = keyword_processor.extract_keywords('I love Big Apple and Bay Area.')
# 4. 結果
print(keywords_found)
# ['New York', 'Bay Area']其中 add_keyword 的第一個參數代表需要被查找的關鍵詞，第二個參數是給這個關鍵詞一個別名，如果找到了則以別名顯示。
替換關鍵詞
如果你想要替換關鍵詞，只需要調用處理器的 replace_keywords 函數：
from?flashtext?import?KeywordProcessor
# 1. 初始化關鍵字處理器
keyword_processor = KeywordProcessor()
# 2. 添加關鍵詞
keyword_processor.add_keyword('New Delhi',?'NCR region')
# 3. 替換關鍵詞
new_sentence = keyword_processor.replace_keywords('I love Big Apple and new delhi.')
# 4. 結果
print(new_sentence)
# 'I love New York and NCR region.'關鍵詞大小寫敏感
如果你需要精確提取，識別大小寫字母，那么你可以在處理器初始化的時候設定 sensitive 參數:
from?flashtext?import?KeywordProcessor
# 1. 初始化關鍵字處理器, 注意設置大小寫敏感(case_sensitive)為TRUE
keyword_processor = KeywordProcessor(case_sensitive=True)
# 2. 添加關鍵詞
keyword_processor.add_keyword('Big Apple',?'New York')
keyword_processor.add_keyword('Bay Area')
# 3. 處理目標句子并提取相應關鍵詞
keywords_found = keyword_processor.extract_keywords('I love big Apple and Bay Area.')
# 4. 結果
print(keywords_found)
# ['Bay Area']標記關鍵詞位置
如果你需要獲取關鍵詞在句子中的位置，在 extract_keywords 的時候添加 span_info=True 參數即可：
from?flashtext?import?KeywordProcessor
# 1. 初始化關鍵字處理器
keyword_processor = KeywordProcessor()
# 2. 添加關鍵詞
keyword_processor.add_keyword('Big Apple',?'New York')
keyword_processor.add_keyword('Bay Area')
# 3. 處理目標句子并提取相應關鍵詞, 并標記關鍵詞的起始、終止位置
keywords_found = keyword_processor.extract_keywords('I love big Apple and Bay Area.', span_info=True)
# 4. 結果
print(keywords_found)
# [('New York', 7, 16), ('Bay Area', 21, 29)]獲取目前所有的關鍵詞
如果你需要獲取當前已經添加的所有關鍵詞，只需要調用處理器的 get_all_keywords 函數：
from?flashtext?import?KeywordProcessor
# 1. 初始化關鍵字處理器
keyword_processor = KeywordProcessor()
# 2. 添加關鍵詞
keyword_processor.add_keyword('j2ee',?'Java')
keyword_processor.add_keyword('colour',?'color')
# 3. 獲取所有關鍵詞
keyword_processor.get_all_keywords()
# output: {'colour': 'color', 'j2ee': 'Java'}批量添加關鍵詞
批量添加關鍵詞有兩種方法，一種是通過詞典，一種是通過數組：
from?flashtext?import?KeywordProcessor
# 1. 初始化關鍵字處理器
keyword_processor = KeywordProcessor()
# 2. （第一種）通過字典批量添加關鍵詞
keyword_dict = {
????"java": ["java_2e",?"java programing"],
????"product management": ["PM",?"product manager"]
}
keyword_processor.add_keywords_from_dict(keyword_dict)
# 2. （第二種）通過數組批量添加關鍵詞
keyword_processor.add_keywords_from_list(["java",?"python"])
# 3. 第一種的提取效果如下
keyword_processor.extract_keywords('I am a product manager for a java_2e platform')
# output ['product management', 'java']單一或批量刪除關鍵詞
刪除關鍵詞也非常簡單，和添加類似：
from?flashtext?import?KeywordProcessor
# 1. 初始化關鍵字處理器
keyword_processor = KeywordProcessor()
# 2. 通過字典批量添加關鍵詞
keyword_dict = {
????"java": ["java_2e",?"java programing"],
????"product management": ["PM",?"product manager"]
}
keyword_processor.add_keywords_from_dict(keyword_dict)
# 3. 提取效果如下
print(keyword_processor.extract_keywords('I am a product manager for a java_2e platform'))
# ['product management', 'java']
# 4. 單個刪除關鍵詞
keyword_processor.remove_keyword('java_2e')
# 5. 批量刪除關鍵詞，也是可以通過詞典或者數組的形式
keyword_processor.remove_keywords_from_dict({"product management": ["PM"]})
keyword_processor.remove_keywords_from_list(["java programing"])
# 6. 刪除了java programing關鍵詞后的效果如下
keyword_processor.extract_keywords('I am a product manager for a java_2e platform')
# ['product management']3.高級使用
支持額外信息
前面提到在添加關鍵詞的時候第二個參數為其別名，其實你不僅可以指示別名，還可以將額外信息放到第二個參數中：
from?flashtext?import?KeywordProcessor
# 1. 初始化關鍵字處理器
kp = KeywordProcessor()
# 2. 添加關鍵詞并附帶額外信息
kp.add_keyword('Taj Mahal', ('Monument',?'Taj Mahal'))
kp.add_keyword('Delhi', ('Location',?'Delhi'))
# 3. 效果如下
kp.extract_keywords('Taj Mahal is in Delhi.')
# [('Monument', 'Taj Mahal'), ('Location', 'Delhi')]這樣，在提取關鍵詞的時候，你還能拿到其他一些你想要在得到此關鍵詞時輸出的信息。
支持特殊單詞邊界
Flashtext 檢測的單詞邊界一般局限于 \w [A-Za-z0-9_] 外的任意字符，但是如果你想添加某些特殊字符作為單詞的一部分也是可以實現(xiàn)的：
from?flashtext?import?KeywordProcessor
# 1. 初始化關鍵字處理器
keyword_processor = KeywordProcessor()
# 2. 添加關鍵詞
keyword_processor.add_keyword('Big Apple')
# 3. 正常效果
print(keyword_processor.extract_keywords('I love Big Apple/Bay Area.'))
# ['Big Apple']
# 4. 將 '/' 作為單詞一部分
keyword_processor.add_non_word_boundary('/')
# 5. 優(yōu)化后的效果
print(keyword_processor.extract_keywords('I love Big Apple/Bay Area.'))
# []4.結尾
個人認為這個模塊已經滿足我們的基本使用了，如果你有一些該模塊提供的功能之外的使用需求，可以給 flashtext 貢獻代碼
附 FlashText 與正則相比 查詢關鍵詞 所花費的時間之比：
到此這篇關于Python利用FlashText算法實現(xiàn)替換字符串的文章就介紹到這了,更多相關Python替換字符串內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
python中Selenium+Webdriver實現(xiàn)自動化登錄
本文主要介紹了python中Selenium+Webdriver實現(xiàn)自動化登錄,包括測試環(huán)境的搭建、代碼編寫、以及注意事項等,具有一定的參考價值,感興趣的可以了解一下2023-09-09
這篇文章主要介紹了詳解Django中Request對象的相關用法,Django是Python重多人氣框架中最著名的一個,需要的朋友可以參考下2015-07-07
python-docx把dataframe表格添加到word文件中
用Python-docx庫,可以輕松地添加表格到Word文檔中,本文主要介紹了python-docx把dataframe表格添加到word文件中,感興趣的可以了解一下2023-08-08
Python實現(xiàn)根據Excel生成Model和數據導入腳本
最近遇到一個需求，有幾十個Excel，每個的字段都不一樣，然后都差不多是第一行是表頭，后面幾千上萬的數據，需要把這些Excel中的數據全都加入某個已經上線的Django項目。所以我造了個自動生成?Model和導入腳本的輪子，希望對大家有所幫助2022-11-11
今天小編就為大家分享一篇在python plt圖表中文字大小調節(jié)的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-07-07
python操作Excel的模塊，網上提到的模塊大致有：xlwings、xlrd、xlwt、openpyxl、pyxll等。本文將通過幾個實例演示下xlwings的使用，感興趣的可以了解一下2022-07-07
這篇文章主要介紹了Numpy之random.randint產生隨機整數方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-12-12
OpenPyXL是一個強大的Python庫,用于處理Excel文件,允許讀取、編輯和創(chuàng)建Excel工作簿和工作表,本文將詳細介紹OpenPyXL的各種功能,希望對大家有所幫助2023-11-11
Tensorflow2.4從頭訓練Word?Embedding實現(xiàn)文本分類
這篇文章主要為大家介紹了Tensorflow2.4從頭訓練Word?Embedding實現(xiàn)文本分類，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2023-01-01
這篇文章主要介紹了Python實現(xiàn)最大子序和的方法示例，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-07-07