欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python英文文本分詞(無空格)模塊wordninja的使用實例

 更新時間：2019年02月20日 08:29:27   作者：Together_CZ  
今天小編就為大家分享一篇關于Python英文文本分詞(無空格)模塊wordninja的使用實例，小編覺得內容挺不錯的，現(xiàn)在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧

在NLP中，數(shù)據清洗與分詞往往是很多工作開始的第一步，大多數(shù)工作中只有中文語料數(shù)據需要進行分詞，現(xiàn)有的分詞工具也已經有了很多了，這里就不再多介紹了。英文語料由于其本身存在空格符所以無需跟中文語料同樣處理，如果英文數(shù)據中沒有了空格，那么應該怎么處理呢？

今天介紹一個工具就是專門針對上述這種情況進行處理的，這個工具叫做：wordninja，地址在這里。

下面簡單以實例看一下它的功能:

def wordinjaFunc():
  '''
  https://github.com/yishuihanhan/wordninja
  '''
  import wordninja
  print wordninja.split('derekanderson')
  print wordninja.split('imateapot')
  print wordninja.split('wethepeopleoftheunitedstatesinordertoformamoreperfectunionestablishjusticeinsuredomestictranquilityprovideforthecommondefencepromotethegeneralwelfareandsecuretheblessingsoflibertytoourselvesandourposteritydoordainandestablishthisconstitutionfortheunitedstatesofamerica')
  print wordninja.split('littlelittlestar')

結果如下：

['derek', 'anderson']
['im', 'a', 'teapot']
['we', 'the', 'people', 'of', 'the', 'united', 'states', 'in', 'order', 'to', 'form', 'a', 'more', 'perfect', 'union', 'establish', 'justice', 'in', 'sure', 'domestic', 'tranquility', 'provide', 'for', 'the', 'common', 'defence', 'promote', 'the', 'general', 'welfare', 'and', 'secure', 'the', 'blessings', 'of', 'liberty', 'to', 'ourselves', 'and', 'our', 'posterity', 'do', 'ordain', 'and', 'establish', 'this', 'constitution', 'for', 'the', 'united', 'states', 'of', 'america']
['little', 'little', 'star']

從簡單的結果上來看，效果還是不錯的，之后在實際的使用中會繼續(xù)評估。

總結

以上就是這篇文章的全部內容了，希望本文的內容對大家的學習或者工作具有一定的參考學習價值，謝謝大家對腳本之家的支持。如果你想了解更多相關內容請查看下面相關鏈接

相關文章

最新評論