Python如何讀取16進(jìn)制byte數(shù)據(jù)
如何讀取16進(jìn)制byte數(shù)據(jù)
小弟最近在做網(wǎng)絡(luò)編程的時候,遇到了一些byte數(shù)據(jù)需要儲存,但是不是常見的str字符對應(yīng)的byte,類似于b'\x00\xff\xfe\x01'這樣的數(shù)據(jù),查找資料后發(fā)現(xiàn)這種東西是16進(jìn)制編碼的byte格式,可以直接轉(zhuǎn)成str沒有問題,但是再轉(zhuǎn)回bytes就會出現(xiàn)莫名其妙的雙斜杠,很是頭疼。
a = b'\x00\xef\xa2\xa0\xb3\x8b\x9d\x1e\xf8\x98\x19\x39\xd9\x9d\xfdABCDabcd' b = str(a) ? print(b) >>> b'\x00\xef\xa2\xa0\xb3\x8b\x9d\x1e\xf8\x98\x199\xd9\x9d\xfdABCDabcd' ? print(bytes(b,'utf8')) >>> b"b'\\x00\\xef\\xa2\\xa0\\xb3\\x8b\\x9d\\x1e\\xf8\\x98\\x199\\xd9\\x9d\\xfdABCDabcd'"
嘗試寫入文件,再讀取也是如此,因為寫進(jìn)去的形式就是str字符
# 寫入data.txt a = b'\x00\xef\xa2\xa0\xb3\x8b\x9d\x1e\xf8\x98\x19\x39\xd9\x9d\xfdABCDabcd' with open('data.txt','w') as p: ? ? p.write(str(a)) ? # 讀取data.txt with open('data.txt','r') as p: ? ? line = p.readline() ? print(line, type(line) == str) >>> b'\x00\xef\xa2\xa0\xb3\x8b\x9d\x1e\xf8\x98\x199\xd9\x9d\xfdABCDabcd\\' True ? print(bytes(line,'utf8')) >>> b"b'\\x00\\xef\\xa2\\xa0\\xb3\\x8b\\x9d\\x1e\\xf8\\x98\\x199\\xd9\\x9d\\xfdABCDabcd\\\\'"
觀察了一下ASCII碼,發(fā)現(xiàn)主要還是因為\x字符被理解成了一個斜杠加x的形式,然后被儲存為str形式,相當(dāng)于變成了兩個字節(jié)。
這樣解碼的時候分開解了,但是\xnn這種形式是應(yīng)該看作ASCII碼的,于是我寫了個轉(zhuǎn)義的邏輯進(jìn)行讀?。?/p>
def readbytetxt(filename): ? ? dic = { ? ? '0': 0, ? ?'1': 1, ? ?'2': 2, ? ? '3': 3, ? ?'4': 4, ? ?'5': 5, ? ? '6': 6, ? ?'7': 7, ? ?'8': 8, ? ? '9': 9, ? ?'a': 10, ? 'b': 11, ? ? 'c': 12, ? 'd': 13, ? 'e': 14, ? ? 'f': 15, ? ? } ? ? with open(filename,'r') as p: ? ? ? ? line = p.readline() ? ? ? ? while line: ? ? ? ? ? ? if line[-1] == '\n': ? ? ? ? ? ? ? ? line = line[:-1] ? ? ? ? ? ? i = 2 ? ? ? ? ? ? L = b'' ? ? ? ? ? ? while i+1 < len(line): ? ? ? ? ? ? ? ? if line[i:i+2] == '\\x' and (line[i+2] in dic.keys()) and (line[i+3] in dic.keys()): ? ? ? ? ? ? ? ? ? ? L += bytes([dic[line[i+2]]*16+dic[line[i+3]]]) ? ? ? ? ? ? ? ? ? ? i += 4 ? ? ? ? ? ? ? ? else: ? ? ? ? ? ? ? ? ? ? L += bytes(line[i],'utf8') ? ? ? ? ? ? ? ? ? ? i += 1 ? ? ? ? ? ? return L ? ? ? ? ? ? line = p.readline() ? print(readbytetxt('data.txt')) >>> b'\x00\xef\xa2\xa0\xb3\x8b\x9d\x1e\xf8\x98\x19\x39\xd9\x9d\xfdABCDabcd'
問題解決了!基本就是寫了個遍歷,然后遇到\x就把16進(jìn)制轉(zhuǎn)成十進(jìn)制的int,然后解碼成bytes,這樣常見的十六進(jìn)制格式基本都能調(diào)用了。
后來發(fā)現(xiàn)除了\x還有其他的轉(zhuǎn)義字符,比如\\,\n,如果不添加轉(zhuǎn)變邏輯的話,依然會出現(xiàn)不識別的問題,于是重寫了一下函數(shù),支持了常見的大部分轉(zhuǎn)義字符,并且寫成了生成器輸出。
def readbytetxt2(filename): ? ? dic = { ? ? '0': 0, ? ?'1': 1, ? ?'2': 2, ? ? '3': 3, ? ?'4': 4, ? ?'5': 5, ? ? '6': 6, ? ?'7': 7, ? ?'8': 8, ? ? '9': 9, ? ?'a': 10, ? 'b': 11, ? ? 'c': 12, ? 'd': 13, ? 'e': 14, ? ? 'f': 15, ? ? } ? ? dic2 = { ? ? 'a': '\a', ? ? 'b': '\b',? ? ? 'f': '\f', ? ? 'n': '\n',? ? ? 'r': '\r', ? ? 'v': '\v',? ? ? '\'': '\'', ? ?'\"': '',? ? ? '\\': '\\',? ? ? } ? ? with open(filename,'r') as p: ? ? ? ? line = p.readline() ? ? ? ? while line: ? ? ? ? ? ? if line[-1] == '\n': ? ? ? ? ? ? ? ? line = line[:-1] ? ? ? ? ? ? i = 2 ? ? ? ? ? ? L = b'' ? ? ? ? ? ? while i+1 < len(line): ? ? ? ? ? ? ? ? if line[i:i+2] == '\\x' and (line[i+2] in dic.keys()) and (line[i+3] in dic.keys()): ? ? ? ? ? ? ? ? ? ? L += bytes([dic[line[i+2]]*16+dic[line[i+3]]]) ? ? ? ? ? ? ? ? ? ? i += 4 ? ? ? ? ? ? ? ? elif line[i] == '\\' and line[i+1] in dic2.keys(): ? ? ? ? ? ? ? ? ? ? L += bytes(dic2[line[i+1]],'utf8') ? ? ? ? ? ? ? ? ? ? i += 2 ? ? ? ? ? ? ? ? elif line[i:i+4] == '\\000': ? ? ? ? ? ? ? ? ? ? L += bytes('\000','utf8') ? ? ? ? ? ? ? ? ? ? i += 2 ? ? ? ? ? ? ? ? else: ? ? ? ? ? ? ? ? ? ? L += bytes(line[i],'utf8') ? ? ? ? ? ? ? ? ? ? i += 1 ? ? ? ? ? ? yield L ? ? ? ? ? ? line = p.readline() ? a = b'\x00\xef\xa2\xa0\xb3\x8b\x9d\x1e\xf8\x98\x19\x39\xd9\x9d\xfdthe first line\n\r\a\b\t\\\f\'\"\v\b\n\000' b = b'\xa0\xdf\xa2\xa0\xb3\x8b\x9d\x1e\xf8\x98\x19\x39\xd9\x9d\xfdthe second line\nn' c = b'\xe0\xaf\xa2\xa0\xb3\x8b\x9d\x1e\xf8\x98\x19\x39\xd9\x9d\xfdthe third line\\' with open('data.txt','w') as p: ? ? p.write(str(a)+'\n') ? ? p.write(str(b)+'\n') ? ? p.write(str(c)) ? line = readbytetxt2('data.txt') ? print([a for a in line]) >>> [b'\x00\xef\xa2\xa0\xb3\x8b\x9d\x1e\xf8\x98\x199\xd9\x9d\xfdthe first line\n\r\x07\x08\\t\\\x0c\'"\x0b\x08\n\x00', b'\xa0\xdf\xa2\xa0\xb3\x8b\x9d\x1e\xf8\x98\x199\xd9\x9d\xfdthe second line\nn', b'\xe0\xaf\xa2\xa0\xb3\x8b\x9d\x1e\xf8\x98\x199\xd9\x9d\xfdthe third line\\']
基本上至此為止,大部分編碼形式都可以搞定了。
但是。。。其實還有一個更簡單的方式!因為其實萬惡之源就是str字符格式里面有很多轉(zhuǎn)義的地方不清不楚的,我想要的是byte存進(jìn)文件,再以byte讀出來,而byte格式本來就是16進(jìn)制的數(shù)字,說到底其實只要能存數(shù)字就可以了!所以寫了個更簡單的方法,直接轉(zhuǎn)成數(shù)字存數(shù)字列表就好!
L = [] a = b'\x00\xef\xa2\xa0\xb3\x8b\x9d\x1e\xf8\x98\x19\x39\xd9\x9d\xfdthe first line\n\r\a\b\t\\\f\'\"\v\b\n\000' print(a) for each in a: ? ? L.append(int(each)) with open('data.txt','w') as p: ? ? p.write(str(L)) print(L) >>> [0, 239, 162, 160, 179, 139, 157, 30, 248, 152, 25, 57, 217, 157, 253, 116, 104, 101, 32, 102, 105, 114, 115, 116, 32, 108, 105, 110, 101, 10, 13, 7, 8, 9, 92, 12, 39, 34, 11, 8, 10, 0] ? ? with open('data.txt','r') as p: ? ? line = p.readline() print(b''.join([bytes([int(i)]) for i in line[1:-1].split(',')])) >>> b'\x00\xef\xa2\xa0\xb3\x8b\x9d\x1e\xf8\x98\x199\xd9\x9d\xfdthe first line\n\r\x07\x08\t\\\x0c\'"\x0b\x08\n\x00'
存進(jìn)去的是數(shù)字列表,然后用split的方式讀出來就可以了,這樣也不會有各種轉(zhuǎn)義搞不清的地方,數(shù)字是什么就讀什么byte出來就可以了。
Python的十六進(jìn)制數(shù)
轉(zhuǎn)換關(guān)系
十進(jìn)制整數(shù)轉(zhuǎn)十六進(jìn)制整數(shù)用hex();十六進(jìn)制整數(shù)轉(zhuǎn)十進(jìn)制整數(shù)用int()
類似地,十進(jìn)制整數(shù)轉(zhuǎn)二進(jìn)制整數(shù)用bin();十進(jìn)制整數(shù)轉(zhuǎn)八進(jìn)制整數(shù)用oct()
hex() 函數(shù)
描述:hex() 函數(shù)用于將10進(jìn)制整數(shù)轉(zhuǎn)換成16進(jìn)制,以字符串形式表示。
語法:
hex(x)
參數(shù)說明:x – 10進(jìn)制整數(shù)
返回值:返回16進(jìn)制數(shù),以字符串形式表示。
int() 函數(shù)
描述:int() 函數(shù)用于將一個字符串或數(shù)字轉(zhuǎn)換為整型。
語法:
class int(x, base=10)
參數(shù)說明:x – 字符串或數(shù)字。base – 進(jìn)制數(shù),默認(rèn)十進(jìn)制。
返回值:返回整型數(shù)據(jù)。
運算
對于十六進(jìn)制整數(shù),在進(jìn)行運算前先轉(zhuǎn)換成十進(jìn)制整數(shù),再對其進(jìn)行運算,之后將運算結(jié)果轉(zhuǎn)換回十六進(jìn)制數(shù)。
以上為個人經(jīng)驗,希望能給大家一個參考,也希望大家多多支持腳本之家。
相關(guān)文章
Python深度學(xué)習(xí)之Keras模型轉(zhuǎn)換成ONNX模型流程詳解
這篇文章主要介紹了Python深度學(xué)習(xí)之Keras模型轉(zhuǎn)換成ONNX模型流程,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)吧2022-09-09Python實現(xiàn)動態(tài)圖解析、合成與倒放
這篇文章主要為大家詳細(xì)介紹了Python實現(xiàn)動態(tài)圖的解析、合成與倒放,具有一定的參考價值,感興趣的小伙伴們可以參考一下2018-01-01python plt.plot bar 如何設(shè)置繪圖尺寸大小
這篇文章主要介紹了python plt.plot bar 設(shè)置繪圖尺寸大小的操作,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2021-06-06Python word2vec訓(xùn)練詞向量實例分析講解
這篇文章主要介紹了Python word2vec訓(xùn)練詞向量實例分析,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)吧2022-12-12Python實現(xiàn)數(shù)據(jù)庫編程方法詳解
這篇文章主要介紹了Python實現(xiàn)數(shù)據(jù)庫編程方法,較為詳細(xì)的總結(jié)了Python數(shù)據(jù)庫編程涉及的各種常用技巧與相關(guān)組件,需要的朋友可以參考下2015-06-06使用opencv識別圖像紅色區(qū)域,并輸出紅色區(qū)域中心點坐標(biāo)
這篇文章主要介紹了使用opencv識別圖像紅色區(qū)域,并輸出紅色區(qū)域中心點坐標(biāo),具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-06-06Python設(shè)計模式中單例模式的實現(xiàn)及在Tornado中的應(yīng)用
這篇文章主要介紹了Python設(shè)計模式中單例模式的實現(xiàn)及在Tornado中的應(yīng)用,講解了單例模式用于設(shè)計Tornado框架中的線程控制方面的相關(guān)問題,需要的朋友可以參考下2016-03-03