欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python處理中文標點符號大集合

 更新時間:2018年05月14日 10:31:30   投稿:mrr  
中文文本中可能出現的標點符號來源比較復雜,通過匹配等手段對他們處理的時候需要格外小心,防止遺漏,下面小編給大家?guī)砹薖ython處理中文標點符號大集合,感興趣的朋友跟隨腳本之家小編一起看看吧

中文文本中可能出現的標點符號來源比較復雜,通過匹配等手段對他們處理的時候需要格外小心,防止遺漏。以下為在下處理中文標點的時候采用的兩種方法:

中文標點集合

比較常見標點有這些:

???。"#$%&'()*+,-/:;<=>@[\]^_`{|}~⦅⦆「」、、〃》「」『』【】〔〕〖〗〘〙〚〛〜〝〞〟〰〾〿–—‘'‛“”„‟…‧﹏.

調用zhon包的zhon.hanzi.punctuation函數即可得到這些中文標點。

如果想用英文的標點,則可調用string包的string.punctuation函數可得到:

!"#$%&\'()*+,-./:;<=>?@[\\]^_`{|}~

因此,比如需要將所有標點符號去除,可以進行以下操作:

>>> import re
>>> from zhon.hanzo import punctuation
>>> line = "測試。。去除標點。。"
>>> print re.sub("[{}]+".format(punctuation), "", line.decode("utf-8")) # 需要將str轉換為unicode

當然,如果想去除重復的符號而只保留一個,那么可以用\1指明:比如

>>> re.sub(ur"([{}])+".format(punctuation), "\1", line.decode("utf-8"))

你也可以手工指定這些標點符號

punctuation = """!?。"?!纾ィΓВǎ?;<=>@[\]^_`{|}~⦅⦆「」、、〃》「」『』【】〔〕〖〗〘〙〚〛〜〝〞〟〰〾〿–—‘'‛“”„‟…‧﹏"""
re_punctuation = "[{}]+".format(punctuation)
line = re.sub(re_punctuation, "", line)

可以通過直接指定unicode碼范圍的辦法來strip,比如:

去除所有半角全角符號,只留字母、數字、中文

def remove_punctuation(line):
  rule = re.compile(ur"[^a-zA-Z0-9\u4e00-\u9fa5]")
  line = rule.sub('',line)
  return line

漢字的范圍為”\u4e00-\u9fa5“,這個是用Unicode表示的,所以前面必須要加”u“;字符”r“的意思是表示忽略后面的轉義字符,這樣簡化了后面正則表達式里每遇到一個轉義字符還得挨個轉義的麻煩

最后可以組合成為一個函數

def remove_punctuation(line, strip_all=True):
  if strip_all:
    rule = re.compile(ur"[^a-zA-Z0-9\u4e00-\u9fa5]")
    line = rule.sub('',line)
  else:
    punctuation = """?。?#65377;"?!纾ィΓВǎ海唬迹剑荆溃郏埽荩蓿撸啵?#65375;⦆「」、、〃》「」『』【】〔〕〖〗〘〙〚〛〜〝〞〟〰〾〿–—‘'‛“”„‟…‧﹏"""
    re_punctuation = "[{}]+".format(punctuation)
    line = re.sub(re_punctuation, "", line)
  return line.strip()

清洗完畢后,有時候我們希望按照多個標點符號來分割

比如只要遇到中文或英文的逗號和句號等符號就分割,可以直接用translate把這些符號翻譯為統(tǒng)一的分隔符,再split:

strip_chars = '?"。.,,《》[]〖〗“”'
single_line = single_line.translate(str.maketrans(dict.fromkeys(strip_chars, '#')))
single_line = single_line.split('#')

總結

以上所述是小編給大家介紹的Python處理中文標點符號大集合,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復大家的。在此也非常感謝大家對腳本之家網站的支持!

相關文章

  • Python在for循環(huán)里處理大數據的推薦方法實例

    Python在for循環(huán)里處理大數據的推薦方法實例

    這篇文章主要介紹了Python在for循環(huán)里處理大數據的推薦方法實例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪
    2024-01-01
  • python框架django基礎指南

    python框架django基礎指南

    本文給大家匯總介紹了下python的MVC框架django的一些基礎知識,非常的簡單實用,希望對大家學習django能夠有所幫助。
    2016-09-09
  • python實現web應用框架之增加動態(tài)路由

    python實現web應用框架之增加動態(tài)路由

    這篇文章主要介紹web應用框架如何添加動態(tài)路由,在我們編寫的框架中,我們添加動態(tài)路由,是使用了正則表達式,同時在注冊的時候,需要注明該路由是請求路由,文中有詳細的代碼示例,需要的朋友可以參考下
    2023-05-05
  • Python對接支付寶支付自實現功能

    Python對接支付寶支付自實現功能

    這篇文章主要介紹了Python對接支付寶支付自實現功能,本文通過實例代碼給大家介紹的非常詳細,具有一定的參考借鑒價值,需要的朋友可以參考下
    2019-10-10
  • 使用Python生成XML的方法實例

    使用Python生成XML的方法實例

    這篇文章主要介紹了使用Python生成XML的方法,結合具體實例形式詳細分析了Python生成xml文件的具體流暢與相關注意事項,需要的朋友可以參考下
    2017-03-03
  • 關于python的list相關知識(推薦)

    關于python的list相關知識(推薦)

    下面小編就為大家?guī)硪黄P于python的list相關知識(推薦)。小編覺得挺不錯的,現在就分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2017-08-08
  • 簡單介紹Python中的RSS處理

    簡單介紹Python中的RSS處理

    這篇文章主要介紹了簡單介紹Python中的RSS處理,本文來自于IBM官方開發(fā)者技術文檔,需要的朋友可以參考下
    2015-04-04
  • python必備庫Matplotlib畫圖神器

    python必備庫Matplotlib畫圖神器

    這篇文章主要介紹了python必備庫Matplotlib畫圖神器,Matplotlib 是 Python 中最受歡迎的數據可視化軟件包之一,支持跨平臺運行,它是 Python 常用的 2D 繪圖庫,同時它也提供了一部分 3D 繪圖接口,更多詳細內容,需要的小伙伴可以參考一下下面文章具體內容
    2022-03-03
  • python驗證多組數據之間有無顯著差異

    python驗證多組數據之間有無顯著差異

    這篇文章主要介紹了python驗證多組數據之間有無顯著差異,利用方差分析和卡方分布驗證多組數據之間的某些屬性有無顯著性差異,對于連續(xù)性屬性可以用方差分析,對于離散型屬性可以用卡方檢驗。下面文章詳細內容需要的小伙伴可以參考一下
    2022-01-01
  • Python configparser模塊封裝及構造配置文件

    Python configparser模塊封裝及構造配置文件

    這篇文章主要介紹了Python configparser模塊封裝及構造配置文件,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
    2020-08-08

最新評論