python3里gbk編碼的問題解決
在python3有關(guān)字符串的處理當(dāng)中,經(jīng)常會遇到
'gbk' codec can't encode character '\xa0'
這個問題,原因是在str里面存在著不能正確編碼的字符。
通過以下方法即可解決。
import requests from bs4 import BeautifulSoup url = "http://jecvay.com/2015/03/learning-compilers-1.html" url = url.encode('gbk','ignore').decode('utf-8') //忽略 response = requests.get(url) print(response) soup = BeautifulSoup(response.text) print(soup.body.text)
以上方法在必須要記錄數(shù)據(jù)的時候會出現(xiàn)數(shù)據(jù)不準(zhǔn)確問題
python3 字符串無法將 gbk 完全轉(zhuǎn)換為utf8
對于必須存儲的情況,將gbk -> 十六進(jìn)制字節(jié)碼文本 保存,需要的時候在轉(zhuǎn)換為gbk以便顯示。
def string_hex(data): lin = ['%02X' % i for i in data] return "".join(lin).upper() def __ToUTF8(tuple): lists = [] for itme in tuple: tmp = itme if type(itme) == bytes: try: tmp = itme.decode('gbk') except UnicodeDecodeError: tmp = string_hex(itme) lists.append(tmp) return lists
def readFileAll(file): with open(file, 'rb') as f: data = f.read() return data
s = readFileAll('gkb.txt') //gbk 字符串文件 sx = string_hex(s)//轉(zhuǎn)化為16進(jìn)制文本 print(sx)
到此這篇關(guān)于python3里gbk編碼的問題解決的文章就介紹到這了,更多相關(guān)python3 gbk編碼內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Python實現(xiàn)數(shù)據(jù)清洗的示例詳解
這篇文章主要通過五個示例帶大家深入了解下Python實現(xiàn)數(shù)據(jù)清洗的具體方法,文中的示例代碼講解詳細(xì),對我們學(xué)習(xí)Python有一定幫助,需要的可以參考一下2022-08-08pytorch LayerNorm參數(shù)的用法及計算過程
這篇文章主要介紹了pytorch LayerNorm參數(shù)的用法及計算過程,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2021-05-05Python數(shù)據(jù)容器dict(字典)的實現(xiàn)
本文主要介紹了Python數(shù)據(jù)容器dict(字典)的實現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-02-02基于python實現(xiàn)監(jiān)聽Rabbitmq系統(tǒng)日志代碼示例
這篇文章主要介紹了基于python實現(xiàn)監(jiān)聽Rabbitmq系統(tǒng)日志代碼示例,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-11-11Django與圖表的數(shù)據(jù)交互的實現(xiàn)
本文主要介紹了Django與圖表的數(shù)據(jù)交互的實現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-08-08Python機(jī)器學(xué)習(xí)NLP自然語言處理Word2vec電影影評建模
本文是Python機(jī)器學(xué)習(xí)NLP自然語言處理系列文章,帶大家開啟一段學(xué)習(xí)自然語言處理 (NLP) 的旅程. 本篇文章主要學(xué)習(xí)NLP自然語言處理基本操作Word2vec電影影評建模2021-09-09