Python字符編碼轉(zhuǎn)碼之GBK,UTF8互轉(zhuǎn)
一、Python字符編碼介紹
1、須知:
在python 2中默認(rèn)編碼是 ASCII,而在python 3中默認(rèn)編碼是 unicode
unicode 分為utf-32 (占4個(gè)字節(jié)),utf-16(占兩個(gè)字節(jié)),utf-8(占1-4個(gè)字節(jié)),所以u(píng)tf-16 是最常用的unicode版本,但是在文件里存的還是utf-8,因?yàn)閡tf8省空間
在python 3,encode編碼的同時(shí)會(huì)把stringl變成bytes類型,decode解碼的同時(shí)會(huì)把bytes類型變成string類型
在unicode編碼中 1個(gè)中文字符=2個(gè)字節(jié),1個(gè)英文字符 = 1個(gè)字節(jié),切記:ASCII是不能存中文字符的
utf-8是可變長(zhǎng)字符編碼,它是unicode的優(yōu)化,所有的英文字符依然按ASCII形式存儲(chǔ),所有的中文字符統(tǒng)一是3個(gè)字節(jié)
unicode包含了所有國(guó)家的字符編碼,不同字符編碼之間的轉(zhuǎn)換都需要經(jīng)過(guò)unicode的過(guò)程
python本身的默認(rèn)編碼是utf-8
2、py2中的編碼和轉(zhuǎn)碼的過(guò)程,如圖:
注:因?yàn)閡nicode是中間編碼,任何字符編碼之前的轉(zhuǎn)換都必須解碼成unicode,在編碼成需要轉(zhuǎn)的字符編碼
二、字符編碼的轉(zhuǎn)換
1、py2字符編碼的轉(zhuǎn)換,代碼如下:
#! /usr/bin/env python # -*- coding:utf-8 -*- # __auther__ == luoahong s = "我是學(xué)員" #utf-8解碼成unicode編碼 s_to_unicode = s.decode("utf-8") print("--------s_to_unicode-----") print(s_to_unicode) #然后unicode再編碼成gbk s_to_gbk = s_to_unicode.encode("gbk") print("-----s_to_gbk------") print(s_to_gbk) #gbk解碼成unicode再編碼成utf-8 gbk_to_utf8 = s_to_gbk.decode("gbk").encode("utf-8") print("------gbk_to_utf8-----") print(gbk_to_utf8) #輸出 --------s_to_unicode----- 我是學(xué)員 -----s_to_gbk------ �����˧ ------gbk_to_utf8----- 我是學(xué)員
注:以上這種情況適合字符是非unicode編碼請(qǐng)款下,但是如果字符編碼已經(jīng)是Unicode的了咋辦呢?廣告回來(lái),更加精彩。。。。。
2、字符編碼已經(jīng)是unicode情況下,代碼如下:
#! /usr/bin/env python # -*- coding:utf-8 -*- # __auther__ == luoahong #u代碼字符編碼是unicode s = u'你好' #已經(jīng)是unicode,所以這邊直接是編碼成gbk s_to_gbk = s.encode("gbk") print("----s_to_gbk----") print(s_to_gbk) #這邊再解碼成unicode然后再編碼成utf-8 gbk_to_utf8 = s_to_gbk.decode("gbk").encode("utf-8") print("-----gbk_to_utf8---") print(gbk_to_utf8) #輸出 ----s_to_gbk---- ��� -----gbk_to_utf8--- 你好
注:在python2中,在文件的開頭指定字符編碼,是要告訴解釋器我現(xiàn)在的字符編碼使用的是utf-8,那我在打印的中文時(shí)候,那么在utf-8中包含中文字符,那么可以打印出來(lái)。那么如果你不制定字符編碼,默認(rèn)使用系統(tǒng)編碼,如果你的系統(tǒng)編碼是ASCII,那么就會(huì)報(bào)錯(cuò),因?yàn)锳SCII不能存中文字符。
3、py3的字符編碼轉(zhuǎn)換
在須知中已經(jīng)說(shuō)到python 3的編碼,默認(rèn)是unicode,所以字符編碼之間的轉(zhuǎn)換不需要decode過(guò)程,直接encode即可,代碼如下:
#! /usr/bin/env python # __auther__ == luoahong #無(wú)需聲明字符編碼,當(dāng)然你聲明也不會(huì)報(bào)錯(cuò) s = '你好' # 字符串s已經(jīng)是unicode編碼,無(wú)需decode,直接encode s_to_gbk = s.encode("gbk") print("----s_to_gbk----") print(s_to_gbk) #這邊還是一樣,gbk需要先解碼成unicode,再編碼成utf-8 gbk_to_utf8 = s_to_gbk.decode("gbk").encode("utf-8") print("-----gbk_to_utf8---") print(gbk_to_utf8) #解碼成unicode字符編碼 utf8_decode = gbk_to_utf8.decode("utf-8") print("-------utf8_decode----") print(utf8_decode) #輸出 ----s_to_gbk---- b'\xc4\xe3\xba\xc3' -----gbk_to_utf8--- b'\xe4\xbd\xa0\xe5\xa5\xbd' -------utf8_decode---- 你好
注:在python 3,encode編碼的同時(shí)會(huì)把stringl變成bytes類型,decode解碼的同時(shí)會(huì)把bytes類型變成string類型,所以你就不難看出encode后的把它變成了一個(gè)bytes類型的數(shù)據(jù)。還有需要特別注意的是:不管是否在python 3的文件開頭申明字符編碼,只能表示,這個(gè)python文件是這個(gè)字符編碼,文件中的字符串還是unicode,如下圖:
三、總結(jié):
1、uniocode能識(shí)別所有字符編碼的字符串
2、在python 2中,字符編碼之間的轉(zhuǎn)化需要通過(guò)unicode才能轉(zhuǎn)換,所以打印時(shí),可以是使用unicode,也可以使用對(duì)應(yīng)的字符編碼(文件開頭指定編碼),打印字符或者字符串,因?yàn)閜y2中沒有對(duì)字符和字節(jié)做明顯區(qū)分, 所以才混導(dǎo)致這樣的結(jié)果。
3、在python 3中,只有通過(guò)Unicode去識(shí)別字符的,如果轉(zhuǎn)成編碼成對(duì)應(yīng)編碼格式了,就直接變成對(duì)應(yīng)編碼的bytes類型的字節(jié)碼,也就是二進(jìn)制,需要識(shí)別,必須解碼成Unicode才能識(shí)別
更多關(guān)于Python字符編碼轉(zhuǎn)碼問(wèn)題請(qǐng)查看下面的相關(guān)鏈接
相關(guān)文章
django基礎(chǔ)學(xué)習(xí)之send_mail功能
這篇文章主要給大家介紹了關(guān)于django基礎(chǔ)學(xué)習(xí)之send_mail功能的相關(guān)資料,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家學(xué)習(xí)或者使用django具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-08-08python監(jiān)控網(wǎng)卡流量并使用graphite繪圖的示例
這篇文章主要介紹了python監(jiān)控網(wǎng)卡流量并使用graphite繪圖的示例,需要的朋友可以參考下2014-04-04解決運(yùn)行django程序出錯(cuò)問(wèn)題 ''str''object has no attribute''_meta''
這篇文章主要介紹了解決運(yùn)行django程序出錯(cuò)問(wèn)題 'str'object has no attribute'_meta',具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-07-07Python實(shí)現(xiàn)Restful API的例子
今天小編就為大家分享一篇Python實(shí)現(xiàn)Restful API的例子,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-08-08Python中串口通信庫(kù)pyserial基礎(chǔ)知識(shí)
Python的pyserial庫(kù)是一個(gè)用于通過(guò)串口進(jìn)行通信的庫(kù),下面這篇文章主要給大家介紹了關(guān)于Python中串口通信庫(kù)pyserial基礎(chǔ)知識(shí)的相關(guān)資料,文中通過(guò)代碼介紹的非常詳細(xì),需要的朋友可以參考下2024-08-08python讀取文件由于編碼問(wèn)題失敗匯總以及解決辦法
這篇文章主要給大家介紹了關(guān)于python讀取文件由于編碼問(wèn)題失敗匯總以及解決辦法的相關(guān)資料,文件編碼錯(cuò)誤指的是在Python讀取文件的過(guò)程中出現(xiàn)的編碼不匹配的問(wèn)題,需要的朋友可以參考下2023-10-10