欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python編碼規(guī)范擺脫P(yáng)ython編碼噩夢(mèng)

 更新時(shí)間:2021年10月25日 17:28:15   作者:寫(xiě)代碼的明哥  
Python 中編碼問(wèn)題,一直是很多 Python 開(kāi)發(fā)者的噩夢(mèng),盡管你是工作多年的 Python 開(kāi)發(fā)者,也肯定會(huì)經(jīng)常遇到令人神煩的編碼問(wèn)題,收藏這篇文章以后你可以不用再Google

博客原文:http://python.iswbm.com/en/latest/c01/c01_44.html

Github:https://github.com/iswbm/PythonCodingTime

Python 中編碼問(wèn)題,一直是很多 Python 開(kāi)發(fā)者的噩夢(mèng),盡管你是工作多年的 Python 開(kāi)發(fā)者,也肯定會(huì)經(jīng)常遇到令人神煩的編碼問(wèn)題,好不容易花了半天搞明白了。

一段時(shí)間后,又全都忘光光了,一臉懵逼的你又開(kāi)始你找各種博客、帖子,從頭搞清楚什么是編碼?什么是 unicode?它和 ASCII 有什么區(qū)別?為什么 decode encode 老是報(bào)錯(cuò)?python2 里和 python3 的字符串類(lèi)型怎么都不一樣,怎么對(duì)應(yīng)起來(lái)?如何檢測(cè)編碼格式?

反反復(fù)復(fù),這個(gè)過(guò)程真是太痛苦了。

今天我把大家在 Python 上會(huì)遇到的一些編碼問(wèn)題都講清楚了,以后你可以不用再 Google,收藏這篇文章就行。

1. Python 3 中 str 與 bytes

在 Python3中,字符串有兩種類(lèi)型 ,str 和 bytes。

今天就來(lái)說(shuō)一說(shuō)這二者的區(qū)別:

unicode string(str 類(lèi)型):以 Unicode code points 形式存儲(chǔ),人類(lèi)認(rèn)識(shí)的形式

byte string(bytes 類(lèi)型):以 byte 形式存儲(chǔ),機(jī)器認(rèn)識(shí)的形式

在 Python 3 中你定義的所有字符串,都是 unicode string類(lèi)型,使用 typeisinstance 可以判別

# python3

>>> str_obj = "你好"
>>> 
>>> type(str_obj)
<class 'str'>
>>> 
>>> isinstance("你好", str)
True
>>> 
>>> isinstance("你好", bytes)
False
>>> 

而 bytes 是一個(gè)二進(jìn)制序列對(duì)象,你只要你在定義字符串時(shí)前面加一個(gè) b,就表示你要定義一個(gè) bytes 類(lèi)型的字符串對(duì)象。

# python3
>>> byte_obj = b"Hello World!"
>>> type(byte_obj)
<class 'bytes'>
>>> 
>>> isinstance(byte_obj, str)
False
>>> 
>>> isinstance(byte_obj, bytes)
True
>>> 

但是在定義中文字符串時(shí),你就不能直接在前面加 b 了,而應(yīng)該使用 encode 轉(zhuǎn)一下。

>>> byte_obj=b"你好"
  File "<stdin>", line 1
SyntaxError: bytes can only contain ASCII literal characters.
>>>
>>> str_obj="你好"
>>>
>>> str_obj.encode("utf-8")
b'\xe4\xbd\xa0\xe5\xa5\xbd'
>>>

2. Python 2 中 str 與 unicode

而在 Python2 中,字符串的類(lèi)型又與 Python3 不一樣,需要仔細(xì)區(qū)分。

在 Python2 里,字符串也只有兩種類(lèi)型,unicode 和 str 。

只有 unicode object 和 非unicode object(其實(shí)應(yīng)該叫 str object) 的區(qū)別:

unicode string(unicode類(lèi)型):以 Unicode code points 形式存儲(chǔ),人類(lèi)認(rèn)識(shí)的形式byte string(str 類(lèi)型):以 byte 形式存儲(chǔ),機(jī)器認(rèn)識(shí)的形式

當(dāng)我們直接使用雙引號(hào)或單引號(hào)包含字符的方式來(lái)定義字符串時(shí),就是 str 字符串對(duì)象,比如這樣

# python2

>>> str_obj="你好"
>>>
>>> type(str_obj)
<type 'str'>
>>>
>>> str_obj
'\xe4\xbd\xa0\xe5\xa5\xbd'
>>>
>>> isinstance(str_obj, bytes)
True
>>> isinstance(str_obj, str)
True
>>> isinstance(str_obj, unicode)
False
>>>
>>> str is bytes
True

而當(dāng)我們?cè)陔p引號(hào)或單引號(hào)前面加個(gè) u,就表明我們定義的是 unicode 字符串對(duì)象,比如這樣

# python2

>>> unicode_obj = u"你好"
>>>
>>> unicode_obj
u'\u4f60\u597d'
>>>
>>> type(unicode_obj)
<type 'unicode'>
>>>
>>> isinstance(unicode_obj, bytes)
False
>>> isinstance(unicode_obj, str)
False
>>>
>>> isinstance(unicode_obj, unicode)
True

3. 如何檢測(cè)對(duì)象的編碼

所有的字符,在 unicode 字符集中都有對(duì)應(yīng)的編碼值(英文叫做:code point

而把這些編碼值按照一定的規(guī)則保存成二進(jìn)制字節(jié)碼,就是我們說(shuō)的編碼方式,常見(jiàn)的有:UTF-8,GB2312 等。

也就是說(shuō),當(dāng)我們要將內(nèi)存中的字符串持久化到硬盤(pán)中的時(shí)候,都要指定編碼方法,而反過(guò)來(lái),讀取的時(shí)候,也要指定正確的編碼方法(這個(gè)過(guò)程叫解碼),不然會(huì)出現(xiàn)亂碼。

那問(wèn)題就來(lái)了,當(dāng)我們知道了其對(duì)應(yīng)的編碼方法,我們就可以正常解碼,但并不是所有時(shí)候我們都能知道應(yīng)該用什么編碼方式去解碼?

這時(shí)候就要介紹到一個(gè) python 的庫(kù) – chardet ,使用它之前 需要先安裝

python3 -m pip install chardet

chardet 有一個(gè) detect 方法,可以 預(yù)測(cè)其其編碼格式

>>> import chardet
>>> chardet.detect('微信公眾號(hào):Python編程時(shí)光'.encode('gbk'))
{'encoding': 'GB2312', 'confidence': 0.99, 'language': 'Chinese'}

為什么說(shuō)是預(yù)測(cè)呢,通過(guò)上面的輸出來(lái)看,你會(huì)看到有一個(gè) confidence 字段,其表示預(yù)測(cè)的可信度,或者說(shuō)成功率。

但是使用它時(shí),若你的字符數(shù)較少,就有可能 “誤診”),比如只有 中文 兩個(gè)字,就像下面這樣,我們是 使用 gbk 編碼的,使用 chardet 卻識(shí)別成 KOI8-R 編碼。

>>> str_obj = "中文"
>>> byte_obj = bytes(a, encoding='gbk')  # 先得到一個(gè) gbk 編碼的 bytes
>>>
>>> chardet.detect(byte_obj)
{'encoding': 'KOI8-R', 'confidence': 0.682639754276994, 'language': 'Russian'}
>>> 
>>> str_obj2 = str(byte_obj, encoding='KOI8-R')
>>> str_obj2
'жпнд'

所以為了編碼診斷的準(zhǔn)確,要盡量使用足夠多的字符。

chardet 支持多國(guó)的語(yǔ)言,從官方文檔中可以看到支持如下這些語(yǔ)言(https://chardet.readthedocs.io/en/latest/supported-encodings.html)

4. 編碼與解碼的區(qū)別

編碼和解碼,其實(shí)就是 str 與 bytes 的相互轉(zhuǎn)化的過(guò)程(Python 2 已經(jīng)遠(yuǎn)去,這里以及后面都只用 Python 3 舉例)

編碼:encode 方法,把字符串對(duì)象轉(zhuǎn)化為二進(jìn)制字節(jié)序列

解碼:decode 方法,把二進(jìn)制字節(jié)序列轉(zhuǎn)化為字符串對(duì)象

那么假如我們真知道了其編碼格式,如何來(lái)轉(zhuǎn)成 unicode 呢?

有兩種方法

第一種是,直接使用 decode 方法

>>> byte_obj.decode('gbk')
'中文'
>>> 

第二種是,使用 str 類(lèi)來(lái)轉(zhuǎn)

>>> str_obj = str(byte_obj, encoding='gbk')
>>> str_obj
'中文'
>>> 

5. 如何設(shè)置文件編碼

在 Python 2 中,默認(rèn)使用的是 ASCII 編碼來(lái)讀取的,因此,我們?cè)谑褂?Python 2 的時(shí)候,如果你的 python 文件里有中文,運(yùn)行是會(huì)報(bào)錯(cuò)的。

SyntaxError: Non-ASCII character '\xe4' in file demo.py

原因就是 ASCII 編碼表太小,無(wú)法解釋中文。

而在 Python 3 中,默認(rèn)使用的是 uft-8 來(lái)讀取,所以省了不少的事。

對(duì)于這個(gè)問(wèn)題,通常解決方法有兩種:

第一種方法

在 python2 中,可以使用在頭部指定

可以這樣寫(xiě),雖然很好看

# -*- coding: utf-8 -*- 

但這樣寫(xiě)太麻煩了,我通常使用下面兩種寫(xiě)法

# coding:utf-8
# coding=utf-8 

第二種方法

import sys 

reload(sys) 
sys.setdefaultencoding('utf-8') 

這里在調(diào)用sys.setdefaultencoding(‘utf-8') 設(shè)置默認(rèn)的解碼方式之前,執(zhí)行了reload(sys),這是必須的,因?yàn)閜ython在加載完sys之后,會(huì)刪除 sys.setdefaultencoding 這個(gè)方法,我們需要重新載入sys,才能調(diào)用 sys.setdefaultencoding 這個(gè)方法。

以上就是Python編碼技巧擺脫P(yáng)ython編碼噩夢(mèng)的詳細(xì)內(nèi)容,更多關(guān)于Python編碼的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!

相關(guān)文章

  • 實(shí)例詳解Matlab 與 Python 的區(qū)別

    實(shí)例詳解Matlab 與 Python 的區(qū)別

    Python是一種面向?qū)ο蟮慕忉屝陀?jì)算機(jī)程序設(shè)計(jì)語(yǔ)言。這篇文章主要介紹了Matlab 與 Python 的區(qū)別及優(yōu)勢(shì),感興趣的朋友跟隨小編一起看看吧
    2019-04-04
  • Python實(shí)現(xiàn)讀取HTML表格 pd.read_html()

    Python實(shí)現(xiàn)讀取HTML表格 pd.read_html()

    這篇文章主要介紹了Python實(shí)現(xiàn)讀取HTML表格 pd.read_html(),具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2022-07-07
  • 詳解Python中httptools模塊的使用

    詳解Python中httptools模塊的使用

    httptools?是一個(gè)?HTTP?解析器,它首先提供了一個(gè)?parse_url?函數(shù),用來(lái)解析?URL。這篇文章就來(lái)和大家聊聊它的用法吧,感興趣的可以了解一下
    2023-03-03
  • Python可視化神器pyecharts繪制折線圖詳情

    Python可視化神器pyecharts繪制折線圖詳情

    這篇文章主要介紹了Python可視化神器pyecharts繪制折線圖詳情,折線圖和柱狀圖一樣是我們?nèi)粘?梢暬疃嗟囊粋€(gè)圖例,當(dāng)然它的優(yōu)勢(shì)和適用場(chǎng)景相信大家肯定不陌生,要想快速的得出趨勢(shì),抓住趨勢(shì)二字,就會(huì)很快的想到要用折線圖來(lái)表示了
    2022-07-07
  • python FastApi實(shí)現(xiàn)數(shù)據(jù)表遷移流程詳解

    python FastApi實(shí)現(xiàn)數(shù)據(jù)表遷移流程詳解

    今天我們來(lái)聊一聊在FastApi里面,數(shù)據(jù)遷移工作,F(xiàn)astAPI是一個(gè)現(xiàn)代的,快速(高性能)python web框架。本文將利用fastapi實(shí)現(xiàn)數(shù)據(jù)表遷移功能,文中的示例代碼講解詳細(xì),需要的可以參考一下
    2022-08-08
  • 《與孩子一起學(xué)編程》python自測(cè)題

    《與孩子一起學(xué)編程》python自測(cè)題

    本文內(nèi)容是關(guān)于《與孩子一起學(xué)編程》python自測(cè)題,大家可以跟著測(cè)試題上機(jī)測(cè)試下程序。
    2018-05-05
  • Pygame的程序開(kāi)始示例代碼

    Pygame的程序開(kāi)始示例代碼

    這篇文章主要介紹了Pygame的程序開(kāi)始的示例代碼,本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2020-05-05
  • python實(shí)現(xiàn)的DES加密算法和3DES加密算法實(shí)例

    python實(shí)現(xiàn)的DES加密算法和3DES加密算法實(shí)例

    這篇文章主要介紹了python實(shí)現(xiàn)的DES加密算法和3DES加密算法,以實(shí)例形式較為詳細(xì)的分析了DES加密算法和3DES加密算法的原理與實(shí)現(xiàn)技巧,需要的朋友可以參考下
    2015-06-06
  • 詳解python pandas 分組統(tǒng)計(jì)的方法

    詳解python pandas 分組統(tǒng)計(jì)的方法

    這篇文章主要介紹了詳解pandas python 分組統(tǒng)計(jì)的方法,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2019-07-07
  • Python實(shí)現(xiàn)拼音轉(zhuǎn)換

    Python實(shí)現(xiàn)拼音轉(zhuǎn)換

    拼音轉(zhuǎn)換指的是將漢字轉(zhuǎn)為拼音的過(guò)程。本文介紹了Python實(shí)現(xiàn)拼音轉(zhuǎn)換,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2021-06-06

最新評(píng)論