0x00 字符的編碼

計算機畢竟是西方國家的發(fā)明，最開始并沒有想到會普及到全世界，只用一個字節(jié)中的7位（ASCII）來表示字符對于現(xiàn)在龐大的文字?jǐn)?shù)量來說顯然不夠，所以先后經(jīng)歷了好幾套編碼方案，不同國家和地區(qū)又有自己的方案，造成了現(xiàn)在諸多的歷史遺留問題。

0x01 Python中的字符串

Python有兩種不同的字符串，一種存儲文本，一種存儲字節(jié)。對于文本，Python內(nèi)部采用Unicode存儲，而字節(jié)字符串顯示原始字節(jié)序列或者ASCII。

什么叫編碼（encode）？

按照字面意思和以往經(jīng)驗，我要把這個文本或字符串用“UTF-8”編碼，感覺上應(yīng)該是對字節(jié)數(shù)據(jù)進(jìn)行編碼然后顯示正確的文字。大多數(shù)人都是這么想的，可事實呢？

編碼的意思是將Unicode字符按照編碼規(guī)則（如UTF-8）編成字節(jié)序列：

有人此時會問，我用 print 語句打印出來怎么是亂碼或者是中文，并不是字節(jié)序列。這是因為你調(diào)用 print 語句的時候，默認(rèn)進(jìn)行了隱式解碼，為的是讓人類看見友好的字符數(shù)據(jù) ，也就是默認(rèn)的進(jìn)行了str()包裝，想看見背后真正的十六進(jìn)制數(shù)，你需要調(diào)用魔術(shù)方法 _repr_() 。

什么叫解碼（decode）?

對應(yīng)的，解碼就是將字節(jié)序列按照編碼規(guī)則（如UTF-8）解釋成unicode形式。

這里或許又會有疑問，編碼解碼都是十六進(jìn)制，那中文字符咋顯示的？
這又要結(jié)合你的環(huán)境了?？赐晡疑厦嫱扑]的文章，你就會明白，Unicode只是一種標(biāo)準(zhǔn)，而具體的編碼才是實現(xiàn)方式。有了正確的Unicode編碼，僅僅代表你有了正確的英文文獻(xiàn)，想翻譯成中文，還得再轉(zhuǎn)換一次。而這一次轉(zhuǎn)換，是你的環(huán)境幫你完成。舉個例子，你打開一個文檔，發(fā)現(xiàn)是亂碼，多半是文本編輯器的解碼方式有問題，換個解碼規(guī)則就好了。

0x02 Python2 和 Python3 之間的區(qū)別

Python3 一切都很美好

在Python3當(dāng)中，文本字符串類型（使用Unicode數(shù)據(jù)存儲）被命名為 str , 字節(jié)字符串類型被命名為 bytes 。一般情況下，實例化一個字符串會得到一個 str 對象 ：

所以現(xiàn)在很多人都說，Python3默認(rèn)是Unicode，也就是這個意思。

如果你想得到bytes，那就在文本之前加上前綴 b , 或者 encode 一下。

所以，很顯然，str 對象有一個encode方法，bytes 對象有一個decode方法。

Python2 相當(dāng)?shù)牟俚埃踔習(xí)`導(dǎo)你

在Python3中的 str 對象在Python2中叫做 unicode ，感覺很通俗對吧？但 bytes 對象在Python2中叫做 str ，對。。就是你平時用的 str ， 默認(rèn)的那個。。。

如果你想得到一個文本字符串，你需要在字符串之前加上前綴 u 或者 decode 一下。

搞笑的還不止這么點，Python2中的 str （字節(jié)） 對象，竟然有一個 encode 方法?。。《夷銊e指望它有什么特殊用處，它就是用來報錯的，永遠(yuǎn)都別使用它！??！

同樣的，unicode （文本字符） 對象也有一個用來報錯的 decode 方法。

我們嘗試一下：

不知道大家注意到錯誤信息沒有，我們在進(jìn)行解碼，規(guī)則是GBK，但它說 無法用 ascii 進(jìn)行編碼 ，這是為什么？

這就是Python2自作聰明為了對一個unicode對象執(zhí)行解碼而進(jìn)行的隱式編碼 ，等于以下代碼：

b.encode('ascii').decode('GBK')

這就是為什么很多人說，Python2的編碼很操蛋。

0x03 小結(jié)

如果你在用2.X，請養(yǎng)成在字符串加上 u 前綴的習(xí)慣，統(tǒng)一編碼UTF-8，如果windows控制臺或者Pycharm控制臺依舊出現(xiàn)亂碼，那多半是控制臺編碼不同，改過來就好。

參考書籍 《Python 高級編程》

總結(jié)

到此這篇關(guān)于Python2與Python3關(guān)于字符串編碼處理的差別總結(jié)的文章就介紹到這了,更多相關(guān)Python2與Python3字符串編碼處理差別內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評論