python2.x中處理中文，是一件頭疼的事情。網(wǎng)上寫這方面的文章，測(cè)次不齊，而且都會(huì)有點(diǎn)錯(cuò)誤，所以在這里打算自己總結(jié)一篇文章。

我也會(huì)在以后學(xué)習(xí)中，不斷的修改此篇博客。

這里假設(shè)讀者已有與編碼相關(guān)的基礎(chǔ)知識(shí),本文不再再次介紹，包括什么是utf-8，什么是unicode，它們之間有什么關(guān)系。
str與字節(jié)碼

首先，我們完全不談unicode。
 

s = "人生苦短"

s是個(gè)字符串，它本身存儲(chǔ)的就是字節(jié)碼。那么這個(gè)字節(jié)碼是什么格式的？

如果這段代碼是在解釋器上輸入的，那么這個(gè)s的格式就是解釋器的編碼格式，對(duì)于windows的cmd而言，就是gbk。

如果將段代碼是保存后才執(zhí)行的，比如存儲(chǔ)為utf-8，那么在解釋器載入這段程序的時(shí)候，就會(huì)將s初始化為utf-8編碼。
unicode與str

我們知道unicode是一種編碼標(biāo)準(zhǔn)，具體的實(shí)現(xiàn)標(biāo)準(zhǔn)可能是utf-8，utf-16，gbk ……

python 在內(nèi)部使用兩個(gè)字節(jié)來(lái)存儲(chǔ)一個(gè)unicode，使用unicode對(duì)象而不是str的好處，就是unicode方便于跨平臺(tái)。

你可以用如下兩種方式定義一個(gè)unicode:
 

s1 = u"人生苦短"
s2 = unicode("人生苦短", "utf-8")

在python中的編碼解碼是這樣的：

所以我們可以寫這樣的代碼：
 

# -*- coding:utf-8 -*-
su = "人生苦短"
# ： su是一個(gè)utf-8格式的字節(jié)串
u = s.decode("utf-8")
# ： s被解碼為unicode對(duì)象，賦給u
sg = u.encode("gbk")
# ： u被編碼為gbk格式的字節(jié)串，賦給sg
print sg
# 打印sg

但是事實(shí)情況要比這個(gè)復(fù)雜，比如看如下代碼：
 

s = "人生苦短"
s.encode('gbk')

這樣為什么可以？看上圖的編碼流程的箭頭，你就能想到原理，當(dāng)對(duì)str進(jìn)行編碼時(shí)，會(huì)先用默認(rèn)編碼將自己解碼為unicode，然后在將unicode編碼為你指定編碼。

這就引出了python2.x中在處理中文時(shí)，大多數(shù)出現(xiàn)錯(cuò)誤的原因所在：python的默認(rèn)編碼，defaultencoding是ascii

看這個(gè)例子：
 

# -*- coding: utf-8 -*-
s = "人生苦短"
s.encode('gbk')

上面的代碼會(huì)報(bào)錯(cuò)，錯(cuò)誤信息：UnicodeDecodeError: ‘a(chǎn)scii' codec can't decode byte ……

因?yàn)槟銢](méi)有指定defaultencoding,所以它其實(shí)在做這樣的事情:

# -*- coding: utf-8 -*-
s = "人生苦短"
s.decode('ascii').encode('gbk')

 
設(shè)置defaultencoding

設(shè)置defaultencoding的代碼如下：

reload(sys)
sys.setdefaultencoding('utf-8')

如果你在python中進(jìn)行編碼和解碼的時(shí)候，不指定編碼方式，那么python就會(huì)使用defaultencoding。

比如上一節(jié)例子中將str編碼為另一種格式，就會(huì)使用defaultencoding。
 

s.encode("utf-8") 等價(jià)于 s.decode(defaultencoding).encode("utf-8")

再比如你使用str創(chuàng)建unicode對(duì)象時(shí)，如果不說(shuō)明這個(gè)str的編碼格式，那么程序也會(huì)使用defaultencoding。
 

u = unicode("人生苦短") 等價(jià)于 u = unicode("人生苦短",defaultencoding)

默認(rèn)的defaultcoding：ascii是許多錯(cuò)誤的原因，所以早早的設(shè)置defaultencoding是一個(gè)好習(xí)慣。
文件頭聲明編碼的作用。

這要感謝這篇博客關(guān)于python文件頭部分知識(shí)的講解。

頂部的:# -*- coding: utf-8 -*-目前看來(lái)有三個(gè)作用。

    如果代碼中有中文注釋，就需要此聲明
    比較高級(jí)的編輯器（比如我的emacs），會(huì)根據(jù)頭部聲明，將此作為代碼文件的格式。
    程序會(huì)通過(guò)頭部聲明，解碼初始化 u”人生苦短”，這樣的unicode對(duì)象，（所以頭部聲明和代碼的存儲(chǔ)格式要一致）

關(guān)于requests庫(kù)

requests是一個(gè)很實(shí)用的Python HTTP客戶端庫(kù)，編寫爬蟲和測(cè)試服務(wù)器響應(yīng)數(shù)據(jù)時(shí)經(jīng)常會(huì)用到。

其中的Request對(duì)象在訪問(wèn)服務(wù)器后會(huì)返回一個(gè)Response對(duì)象，這個(gè)對(duì)象將返回的Http響應(yīng)字節(jié)碼保存到content屬性中。

但是如果你訪問(wèn)另一個(gè)屬性text時(shí)，會(huì)返回一個(gè)unicode對(duì)象，亂碼問(wèn)題就會(huì)常常發(fā)成在這里。

因?yàn)镽esponse對(duì)象會(huì)通過(guò)另一個(gè)屬性encoding來(lái)將字節(jié)碼編碼成unicode，而這個(gè)encoding屬性居然是responses自己猜出來(lái)的。

官方文檔：

    text
    Content of the response, in unicode.

    If Response.encoding is None, encoding will be guessed using chardet.

    The encoding of the response content is determined based solely on HTTP headers, following RFC 2616 to the letter. If you can take advantage of non-HTTP knowledge to make a better guess at the encoding, you should set r.encoding appropriately before accessing this property.

所以要么你直接使用content(字節(jié)碼)，要么記得把encoding設(shè)置正確，比如我獲取了一段gbk編碼的網(wǎng)頁(yè),就需要以下方法才能得到正確的unicode。
 

import requests
url = "http://xxx.xxx.xxx"
response = requests.get(url)
response.encoding = 'gbk'
 
print response.text

不僅僅要原理，更要使用方法！

如果是早期的我寫博客，那么我一定會(huì)寫這樣的例子：

如果現(xiàn)在的文件編碼為gbk,然后文件頭為：# -*- coding: utf-8 -*-，再將默認(rèn)編碼設(shè)置為xxx，那么如下程序的結(jié)果會(huì)是……

這就類似于，當(dāng)年學(xué)c的時(shí)候，用各種優(yōu)先級(jí)，結(jié)合性，指針來(lái)展示自己水平的代碼。

實(shí)際上這些根本就不實(shí)用，誰(shuí)會(huì)在真正的工作中寫這樣的代碼呢？我在這里想談?wù)剬?shí)用的處理中文的python方法。

基本設(shè)置

主動(dòng)設(shè)置defaultencoding。（默認(rèn)的是ascii）

代碼文件的保存格式要與文件頭部的# coding:xxx一致

如果是中文，程序內(nèi)部盡量使用unicode，而不用str

關(guān)于打印

你在打印str的時(shí)候，實(shí)際就是直接將字節(jié)流發(fā)送給shell。如果你的字節(jié)流編碼格式與shell的編碼格式不相同，就會(huì)亂碼。

而你在打印unicode的時(shí)候，系統(tǒng)自動(dòng)將其編碼為shell的編碼格式，是不會(huì)出現(xiàn)亂碼的。

程序內(nèi)外要統(tǒng)一

如果說(shuō)程序內(nèi)部要保證只用unicode，那么在從外部讀如字節(jié)流的時(shí)候，一定要將這些字節(jié)流轉(zhuǎn)化為unicode，在后面的代碼中去處理unicode，而不是str。

with open("test") as f:
 for i in f:
 # 將讀入的utf-8字節(jié)流進(jìn)行解碼
 u = i.decode('utf-8')
 ....

如果把連接程序內(nèi)外的這段數(shù)據(jù)流比喻成通道的的話，那么與其將通道開為字節(jié)流，讀入后進(jìn)行解碼，不如直接將通道開為unicode的。
 

# 使用codecs直接開unicode通道
file = codecs.open("test", "r", "utf-8")
for i in file:
 print type(i)
 # i的類型是unicode的

所以python處理中文編碼問(wèn)題的關(guān)鍵是你要清晰的明白，自己在干什么，打算讀入什么格式的編碼，聲明的的這些字節(jié)是什么格式的，str到unicode是如何轉(zhuǎn)換的，str的一種編碼到另一種編碼又是如何進(jìn)行的。 還有，你不能把問(wèn)題變得混亂，要自己主動(dòng)去維護(hù)一種統(tǒng)一。

最新評(píng)論