Python使用protobuf序列化和反序列化的實(shí)現(xiàn)
protobuf介紹
protobuf是一種二進(jìn)制的序列化格式,相對于json來說體積更小,傳輸更快。
安裝protobuf
安裝protobuf的目的主要用來將proto文件編譯成python、c、Java可調(diào)用的接口。
# 如果gcc版本較低,需要升級(jí)gcc wget https://main.qcloudimg.com/raw/d7810aaf8b3073fbbc9d4049c21532aa/protobuf-2.6.1.tar.gz tar -zxvf protobuf-2.6.1.tar.gz -C /usr/local/ && cd /usr/local/protobuf-2.6.1 ./configure make && make install # 可以在/etc/profile或者~/.bash_profile末尾設(shè)置永久有效 export PATH=$PATH:/usr/local/protobuf-2.6.1/bin
使用下面命令查看是否安裝成功。
[root@CodeOnTheRoad ~]# protoc --version libprotoc 2.6.1
構(gòu)建python接口
創(chuàng)建cls.proto文件,定義序列化結(jié)構(gòu):
package cls; message Log { message Content { required string key = 1; // 每組字段的 key required string value = 2; // 每組字段的 value } required int64 time = 1; // 時(shí)間戳,UNIX時(shí)間格式 repeated Content contents = 2; // 一條日志里的多個(gè)kv組合 } message LogTag { required string key = 1; required string value = 2; } message LogGroup { repeated Log logs = 1; // 多條日志合成的日志數(shù)組 optional string contextFlow = 2; // 目前暫無效用 optional string filename = 3; // 日志文件名 optional string source = 4; // 日志來源,一般使用機(jī)器IP repeated LogTag logTags = 5; } message LogGroupList { repeated LogGroup logGroupList = 1; // 日志組列表 }
只用下面命令將proto文件轉(zhuǎn)換為python可調(diào)用的接口。
protoc cls.proto --python_out=./
執(zhí)行完后,在此目錄下生成cls_pb2.py。
序列化
import cls_pb2 as cls import time # 構(gòu)建protoBuf日志內(nèi)容 LogLogGroupList = cls.LogGroupList() LogGroup = LogLogGroupList.logGroupList.add() LogGroup.contextFlow = "1" LogGroup.filename = "python.log" LogGroup.source = "localhost" LogTag = LogGroup.logTags.add() LogTag.key = "key" LogTag.value = "value" Log = LogGroup.logs.add() Log.time = int(round(time.time() * 1000000)) Content = Log.contents.add() Content.key = "Hello" Content.value = "World" print(LogLogGroupList) # 序列化 data = LogLogGroupList.SerializeToString() print(data)
其實(shí)就是講一個(gè)protobuf的結(jié)構(gòu)文本序列化成了二進(jìn)制的形式。
反序列化
反序列化就是將二進(jìn)制轉(zhuǎn)換成protobuf結(jié)構(gòu)。
# 反序列化 LogLogGroupList = cls.LogGroupList() LogLogGroupList.ParseFromString(data) print(LogLogGroupList)
運(yùn)行結(jié)果
上面序列化和反序列化代碼結(jié)果運(yùn)行如下:
到此這篇關(guān)于Python使用protobuf序列化和反序列化的實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)Python 序列化和反序列化內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
NoSql數(shù)據(jù)庫介紹及使用Python連接MongoDB
MongoDB是一個(gè)非常流行的NoSQL數(shù)據(jù)庫,常用于大規(guī)模數(shù)據(jù)存儲(chǔ)應(yīng)用,下面這篇文章主要給大家介紹了關(guān)于NoSql數(shù)據(jù)庫及使用Python連接MongoDB的相關(guān)資料,需要的朋友可以參考下2023-06-06django利用request id便于定位及給日志加上request_id
這篇文章主要介紹了django利用request id便于定位及給日志加上request_id的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),對大家學(xué)習(xí)或者使用django具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面來一起看看吧2018-08-08使用Python實(shí)現(xiàn)不同需求的排行榜功能
這篇文章主要為大家介紹了Python實(shí)現(xiàn)不同需求的排行榜功能,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2024-01-01Python使用Selenium實(shí)現(xiàn)淘寶搶單的流程分析
這篇文章主要介紹了Python使用Selenium實(shí)現(xiàn)淘寶搶單的流程分析,本文通過實(shí)例代碼給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-06-06Python的五個(gè)標(biāo)準(zhǔn)數(shù)據(jù)類型你認(rèn)識(shí)幾個(gè)
這篇文章主要為大家詳細(xì)介紹了Python標(biāo)準(zhǔn)數(shù)據(jù)類型,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下,希望能夠給你帶來幫助2022-03-03小眾實(shí)用的Python 爬蟲庫RoboBrowser
這篇文章主要介紹了Python 爬蟲庫RoboBrowser的使用簡介,幫助大家更好的理解和學(xué)習(xí)使用python,感興趣的朋友可以了解下2021-03-03Python3實(shí)現(xiàn)的回文數(shù)判斷及羅馬數(shù)字轉(zhuǎn)整數(shù)算法示例
這篇文章主要介紹了Python3實(shí)現(xiàn)的回文數(shù)判斷及羅馬數(shù)字轉(zhuǎn)整數(shù)算法,涉及Python數(shù)值運(yùn)算、轉(zhuǎn)換等相關(guān)操作技巧,需要的朋友可以參考下2019-03-03