快捷導(dǎo)航

Python全角與半角之間相互轉(zhuǎn)換的方法總結(jié)

更新時(shí)間：2022年03月29日 15:45:38 作者：埃菲爾沒有塔尖

全角與半角轉(zhuǎn)換在處理漢語語料中會(huì)經(jīng)常出現(xiàn),這里分別說明漢字、數(shù)字、字母的unicode編碼范圍,下面這篇文章主要給大家介紹了關(guān)于Python全角與半角之間相互轉(zhuǎn)換的相關(guān)資料,需要的朋友可以參考下

1.應(yīng)用領(lǐng)域：

全角和半角的轉(zhuǎn)換通常用在自然語言處理過程中，由于全角和半角的不一致會(huì)導(dǎo)致信息抽取不一致，在使用語料訓(xùn)練語言模型會(huì)導(dǎo)致模型的效果不準(zhǔn)確，所以需要統(tǒng)一。

2.全角半角轉(zhuǎn)換概述

全角字符unicode編碼范圍從65281~65374 （對(duì)應(yīng)的十六進(jìn)制范圍是: 0xFF01 ~ 0xFF5E）
半角字符unicode編碼范圍從33~126 （對(duì)應(yīng)的十六進(jìn)制范圍從 0x21~ 0x7E）
空格比較特殊,全角為12288（0x3000）,半角為 32 （0x20）
除空格外，全角/半角按unicode編碼排序在順序上是對(duì)應(yīng)的（半角 +65248 = 全角 or 半角 + 0x7e= 全角）
所以可以直接通過用±法來處理非空格數(shù)據(jù),對(duì)空格單獨(dú)處理

3.請(qǐng)注意：

中文文字永遠(yuǎn)是全角，只有英文字母、數(shù)字鍵、符號(hào)鍵才有全角半角的概念。

一個(gè)字母或數(shù)字占一個(gè)漢字的位置叫全角，占半個(gè)漢字的位置叫半角。

引號(hào)在中英文、全半角情況下是不同的

4.應(yīng)用到的庫函數(shù)

chr()函數(shù)用一個(gè)范圍在range（256）內(nèi)的（就是0～255）整數(shù)作參數(shù)，返回一個(gè)對(duì)應(yīng)的字符。
unichr()跟它一樣，只不過返回的是Unicode字符。
ord()函數(shù)是chr()函數(shù)（對(duì)于8位的ASCII字符串）或unichr()函數(shù)（對(duì)于Unicode對(duì)象）的配對(duì)函數(shù)，它以一個(gè)字符（長(zhǎng)度為1的字符串）作為參數(shù)，返回對(duì)應(yīng)的ASCII數(shù)值，或者Unicode數(shù)值。

示例：

5.全角轉(zhuǎn)半角：

def strQ2B(ustring):
    rstring = ""
    for uchar in ustring:
        inside_code = ord(uchar)
        if inside_code == 12288:                            # 全角空格直接轉(zhuǎn)換
            inside_code = 32
        elif 65281 <= inside_code <= 65374:   				# 全角字符（除空格）根據(jù)關(guān)系轉(zhuǎn)化
            inside_code -= 65248
        rstring += chr(inside_code)
    return rstring

str11 = strQ2B("電影《２０１２》講述了２０１２年１２月２１日的世界末日，主人公Ｊａｃｋ以及世界各國(guó)人民掙扎求生的經(jīng)歷！")
print(str11)

運(yùn)行結(jié)果：

電影《2012》講述了2012年12月21日的世界末日,主人公Jack以及世界各國(guó)人民掙扎求生的經(jīng)歷!

6.半角轉(zhuǎn)成全角：

def strB2Q(ustring):
    """半角轉(zhuǎn)全角"""
    rstring = ""
    for uchar in ustring:
        inside_code = ord(uchar)
        if inside_code == 32:                 # 半角空格直接轉(zhuǎn)化
            inside_code = 12288
        elif 32 <= inside_code <= 126:        # 半角字符（除空格）根據(jù)關(guān)系轉(zhuǎn)化
            inside_code += 65248
        rstring += chr(inside_code)
    return rstring

str22 = strB2Q("電影《2012》講述了2012年12月21日的世界末日,主人公Jack以及世界各國(guó)人民掙扎求生的經(jīng)歷!")
print(str22)

運(yùn)行結(jié)果：

電影《２０１２》講述了２０１２年１２月２１日的世界末日，主人公Ｊａｃｋ以及世界各國(guó)人民掙扎求生的經(jīng)歷！

附：如何通過python轉(zhuǎn)換全角字符串為半角字符串實(shí)例

# coding:utf-8
from idna import unichr
def all_to_half(all_string):
    """全角轉(zhuǎn)半角"""
    half_string = ""
    for char in all_string:
        inside_code = ord(char)
        if inside_code == 12288:  # 全角空格直接轉(zhuǎn)換,全角和半角的空格的Unicode值相差12256
            inside_code = 32
        elif (inside_code >= 65281 and inside_code <= 65374):  # 全角字符（除空格）根據(jù)關(guān)系轉(zhuǎn)化,除空格外的全角和半角的Unicode值相差65248
            inside_code -= 65248

        half_string += unichr(inside_code)
    return half_string