Python處理中文標點符號大集合
中文文本中可能出現的標點符號來源比較復雜,通過匹配等手段對他們處理的時候需要格外小心,防止遺漏。以下為在下處理中文標點的時候采用的兩種方法:
中文標點集合
比較常見標點有這些:
???。"#$%&'()*+,-/:;<=>@[\]^_`{|}~⦅⦆「」、、〃》「」『』【】〔〕〖〗〘〙〚〛〜〝〞〟〰〾〿–—‘'‛“”„‟…‧﹏.
調用zhon包的zhon.hanzi.punctuation函數即可得到這些中文標點。
如果想用英文的標點,則可調用string包的string.punctuation函數可得到:
!"#$%&\'()*+,-./:;<=>?@[\\]^_`{|}~
因此,比如需要將所有標點符號去除,可以進行以下操作:
>>> import re >>> from zhon.hanzo import punctuation >>> line = "測試。。去除標點。。" >>> print re.sub("[{}]+".format(punctuation), "", line.decode("utf-8")) # 需要將str轉換為unicode
當然,如果想去除重復的符號而只保留一個,那么可以用\1指明:比如
>>> re.sub(ur"([{}])+".format(punctuation), "\1", line.decode("utf-8"))
你也可以手工指定這些標點符號
punctuation = """!?。"?!纾ィΓВǎ?;<=>@[\]^_`{|}~⦅⦆「」、、〃》「」『』【】〔〕〖〗〘〙〚〛〜〝〞〟〰〾〿–—‘'‛“”„‟…‧﹏""" re_punctuation = "[{}]+".format(punctuation) line = re.sub(re_punctuation, "", line)
可以通過直接指定unicode碼范圍的辦法來strip,比如:
去除所有半角全角符號,只留字母、數字、中文
def remove_punctuation(line): rule = re.compile(ur"[^a-zA-Z0-9\u4e00-\u9fa5]") line = rule.sub('',line) return line
漢字的范圍為”\u4e00-\u9fa5“,這個是用Unicode表示的,所以前面必須要加”u“;字符”r“的意思是表示忽略后面的轉義字符,這樣簡化了后面正則表達式里每遇到一個轉義字符還得挨個轉義的麻煩
最后可以組合成為一個函數
def remove_punctuation(line, strip_all=True): if strip_all: rule = re.compile(ur"[^a-zA-Z0-9\u4e00-\u9fa5]") line = rule.sub('',line) else: punctuation = """?。?#65377;"?!纾ィΓВǎ海唬迹剑荆溃郏埽荩蓿撸啵?#65375;⦆「」、、〃》「」『』【】〔〕〖〗〘〙〚〛〜〝〞〟〰〾〿–—‘'‛“”„‟…‧﹏""" re_punctuation = "[{}]+".format(punctuation) line = re.sub(re_punctuation, "", line) return line.strip()
清洗完畢后,有時候我們希望按照多個標點符號來分割
比如只要遇到中文或英文的逗號和句號等符號就分割,可以直接用translate把這些符號翻譯為統(tǒng)一的分隔符,再split:
strip_chars = '?"。.,,《》[]〖〗“”' single_line = single_line.translate(str.maketrans(dict.fromkeys(strip_chars, '#'))) single_line = single_line.split('#')
總結
以上所述是小編給大家介紹的Python處理中文標點符號大集合,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復大家的。在此也非常感謝大家對腳本之家網站的支持!
相關文章
Python在for循環(huán)里處理大數據的推薦方法實例
這篇文章主要介紹了Python在for循環(huán)里處理大數據的推薦方法實例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2024-01-01Python configparser模塊封裝及構造配置文件
這篇文章主要介紹了Python configparser模塊封裝及構造配置文件,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-08-08