欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

C++中protobuf?的交叉編譯使用詳解

 更新時(shí)間:2022年07月11日 10:31:58   作者:大橙子瘋  
為了提高通信效率,可以采用?protobuf?替代?XML?和?Json?數(shù)據(jù)交互格式,protobuf?相對(duì)來說數(shù)據(jù)量小,在進(jìn)程間通信或者設(shè)備之間通信能夠提高通信速率。下面介紹?protobuf?在?ARM?平臺(tái)上的使用,需要的朋友可以參考下

前言

為了提高通信效率,可以采用 protobuf 替代 XML 和 Json 數(shù)據(jù)交互格式,protobuf 相對(duì)來說數(shù)據(jù)量小,在進(jìn)程間通信或者設(shè)備之間通信能夠提高通信速率。下面介紹 protobuf 在 ARM 平臺(tái)上的使用。

簡(jiǎn)介

官方文檔給出的定義和描述:

protocol buffers 是一種語言無關(guān)、平臺(tái)無關(guān)、可擴(kuò)展的序列化結(jié)構(gòu)數(shù)據(jù)的方法,它可用于(數(shù)據(jù)) 通信協(xié)議 、數(shù)據(jù)存儲(chǔ)等。

Protocol Buffers 是一種靈活,高效,自動(dòng)化機(jī)制的結(jié)構(gòu)數(shù)據(jù)序列化方法-可類比 XML,但是比 XML 更小(3 ~ 10倍)、更快(20 ~ 100倍)、更為簡(jiǎn)單。

你可以定義數(shù)據(jù)的結(jié)構(gòu),然后使用特殊生成的源代碼輕松的在各種數(shù)據(jù)流中使用各種語言進(jìn)行編寫和讀取結(jié)構(gòu)數(shù)據(jù)。你甚至可以更新數(shù)據(jù)結(jié)構(gòu),而不破壞由舊數(shù)據(jù)結(jié)構(gòu)編譯的已部署程序。

簡(jiǎn)單來說:

  • 和平臺(tái)無關(guān),和開發(fā)語言無關(guān)(支持多種語言和多個(gè)平臺(tái))

  • 高效:數(shù)據(jù)量小,因此更快

  • 擴(kuò)展性和兼容性較好

使用方式

編譯安裝

1、以下僅介紹在嵌入式設(shè)備軟件中使用,即交叉編譯開發(fā)環(huán)境,以 protobuf-3.19.3為例

$ tar -xzvf protobuf-cpp-3.19.3.tar.gz
$ cd protobuf-3.19.3/
$ ./autogen.sh

2、配置交叉編譯環(huán)境和編譯安裝后的路徑,并編譯

$ ./configure --host=arm-linux CC=aarch64-linux-gnu-gcc CXX=aarch64-linux-gnu-g++ --prefix=/home/protobuf/linux
$ make -j;make install

3、此時(shí)會(huì)在 /home/protobuf/linux 生成三個(gè)文件夾

bin:可執(zhí)行文件 protoc,可以將對(duì)應(yīng)的 proto 文件生成代碼的工具(在 ARM 下使用,所以這個(gè)不用)
lib:對(duì)應(yīng)的庫,包含靜態(tài)庫和動(dòng)態(tài)庫等。還有對(duì)應(yīng)裁剪版功能的lite庫
include:集成時(shí)需要包含的頭文件

4、重新配置編譯環(huán)境和安裝后的路徑,并編譯(Ubuntu系統(tǒng))

$ ./configure --prefix=/home/protobuf/ubuntu
$ make -j;make install

5、此時(shí)會(huì)在 /home/protobuf/ubuntu 生成三個(gè)文件夾,和上述一樣(Ubuntu 的編譯環(huán)境),但是這個(gè)我們只需要bin文件即可(我們使用的開發(fā)環(huán)境是 Ubuntu,所以通常都是在 Ubuntu 上執(zhí)行protoc,用來生成對(duì)應(yīng)的代碼)

使用步驟

1、創(chuàng)建 .proto 文件,定義數(shù)據(jù)結(jié)構(gòu),如:

// 指定版本 (默認(rèn))使用protobuf2 
syntax = "proto2"; 
// 指定命名空間 
package ExampleNC; 
// 例1: 在 xxx.proto 文件中定義 CExample message 
message CExample 
{
     optional string stringDesc = 1;
     optional bytes bytesVal = 2; 
}

2、通過可執(zhí)行文件 protoc 將 .proto 文件生成對(duì)應(yīng)的代碼文件

$ protoc -I=$SRC_DIR --cpp_out=$DST_DIR $SRC_DIR/xxx.proto

$SRC_DIR是.proto文件所在的路徑,$DST_DIR是生成代碼的路徑,--cpp_out 是表示生成 C++代碼;

生成對(duì)應(yīng)的 xxx.pb.h 和 xxx.pb.cc 兩個(gè)文件,可將這兩個(gè)文件放入需要集成的代碼中(包括交叉編譯生成的頭文件include)

3、通過生成的類 CExample 定義變量,設(shè)置對(duì)應(yīng)的值,如:

CExample *pInfo = new CExample();
pInfo->set_stringdesc("test");  // 賦值
printf("info: %s\n", pInfo->DebugString().c_str());// 打印設(shè)置的值(文本格式,lite版本不支持)
int length = pInfo->ByteSize();
char *pBuf = (char *)malloc(length);
pInfo->SerializeToArray(pBuf, length);// 序列化為hex
printf_hexdump("HEX:", pBuf, length);// 打印序列化后的hex數(shù)據(jù)
CExample *pOutInfo = new CExample();
pOutInfo->ParseFromArray(pBuf, length);//反序列化
printf("OUTinfo: %s\n", pOutInfo->DebugString().c_str());// 打印設(shè)置的值(文本格式,lite版本不支持)
free(pBuf);

其中,定義新的類后,若沒有進(jìn)行賦值操作的變量,序列化中則沒有該數(shù)據(jù)內(nèi)容

常見問題

在代碼運(yùn)行時(shí),出現(xiàn)以下錯(cuò)誤

[libprotobuf ERROR google/protobuf/descriptor_database.cc:641] File already exists in database: ais_msg.proto
[libprotobuf FATAL google/protobuf/descriptor.cc:2021] CHECK failed: GeneratedDatabase()->Add(encoded_file_descriptor, size): 
terminate called after throwing an instance of 'google::protobuf::FatalException'
  what():  CHECK failed: GeneratedDatabase()->Add(encoded_file_descriptor, size):

網(wǎng)上提供的解決辦法

【轉(zhuǎn)自 https://m.newsmth.net/article/Programming/single/5862/3】
Protobuf是Google的一個(gè)開源項(xiàng)目,它的大部分代碼是用C++寫的。當(dāng)別的程序想要使用protobuf時(shí),既可以采用動(dòng)態(tài)鏈接,也可以采用靜態(tài)鏈接。Google內(nèi)部主要是采用靜態(tài)鏈接為主。而在Linux的世界里,大部分發(fā)行版都把Protobuf編譯成了動(dòng)態(tài)庫。
 
最佳實(shí)踐
如果你的Project本身是一個(gè)動(dòng)態(tài)庫,那么你應(yīng)該避免在它的公開接口中用到任何protobuf的符號(hào),并且采用靜態(tài)鏈接到protobuf的方式。同時(shí)你應(yīng)該在dllmain中調(diào)用google::protobuf::ShutdownProtobufLibrary()來清理protobuf使用過內(nèi)存。
如果你的Project本身是一個(gè)靜態(tài)庫,那么決定權(quán)不在你手里,而且最終把你的靜態(tài)庫編譯成PE/ELF文件的那個(gè)人手里。但是你需要在你的build system中留出接口讓他可以告知你這個(gè)信息。
如果你的Project本身是一個(gè)動(dòng)態(tài)庫,并且你公開接口中用到了protobuf的符號(hào),那么你必須動(dòng)態(tài)鏈接到protobuf。 否則當(dāng)你跨DLL傳送protobuf的對(duì)象時(shí),如果這個(gè)對(duì)象在A.DLL中創(chuàng)建,但是在B.DLL中被銷毀,那么就會(huì)導(dǎo)致程序崩潰。因?yàn)楫?dāng)你采用靜態(tài)鏈接到Protobuf時(shí),每個(gè)DLL內(nèi)部都有一個(gè)protobuf的副本,并且protobuf內(nèi)部有自己的內(nèi)存池??鏒LL傳輸對(duì)象就會(huì)導(dǎo)致該對(duì)象可能在不屬于自己的內(nèi)存池中被釋放。
 
動(dòng)態(tài)鏈接的注意事項(xiàng)
首先,不推薦在Windows上這么做。 因?yàn)閜rotobuf本身是基于C++的,而Windows上DLL的導(dǎo)出符號(hào)應(yīng)該都是C風(fēng)格的,不應(yīng)含有任何STL、std::string這樣的東西。 如果你一定要這么做,那么你就會(huì)收到C4251警告。這是一個(gè)level 1的警告,屬于最高嚴(yán)重等級(jí)。
如果你決定動(dòng)態(tài)鏈接到protobuf,并且目標(biāo)平臺(tái)是Windows操作系統(tǒng),那么你應(yīng)該在編譯你的project的源代碼的時(shí)候"#define PROTOBUF_USE_DLLS"。 這樣鏈接器才知道應(yīng)該使用dllimport的方式去尋找protobuf的符號(hào)。 Linux不需要這么做。但是Linux需要注意把code編譯成PIC的。 同時(shí),在Windows上需要注意所有代碼必須采用動(dòng)態(tài)鏈接到CRT,而不能采用靜態(tài)鏈接。 這條適用于libprotobuf.dll自身以及它的所有使用者。
 
無論是Windows還是Linux,動(dòng)態(tài)鏈接帶來的另一個(gè)問題是:從.proto生成的那些C/C++代碼可能也需要被編譯成動(dòng)態(tài)庫共享。因?yàn)閜rotobuf本身有一個(gè)global的registry。每個(gè)message type都需要去那里注冊(cè)一下,而且不能重復(fù)注冊(cè)。所以,假如你在A.DLL中定義了某些message type,那么B.DLL就只能從A.DLL的exported的DLL interface中使用這些message type, 而不能從proto文件中重新生成C/C++代碼并包含到B.DLL里去。并且B.DLL也不能私自的去修改、擴(kuò)展這個(gè)message type。據(jù)說換成protobuf-lite就能避免這個(gè)問題,但是Google官方并沒有對(duì)此表態(tài)。
 
另外,protobuf動(dòng)態(tài)庫自身不能被unload然后reload。 這個(gè)限制讓我很意外,但是Google自己說他們?cè)谠O(shè)計(jì)的時(shí)候從來沒考慮過這樣的使用場(chǎng)景。不過,在Linux上這其實(shí)是很常見的事情,GLIB自身都不支持unload。
 
糟糕的用例:Tensorflow
首先,tensorflow作為一個(gè)python的plugin,它必須是動(dòng)態(tài)庫,不能是靜態(tài)庫。
Tensorflow選擇了靜態(tài)鏈接到protobuf。
Tensorflow想要支持動(dòng)態(tài)加載plugin。每個(gè)plugin是一個(gè)動(dòng)態(tài)庫。
plugin本身需要訪問Tensorflow的接口,而這些接口常常又含有protobuf的符號(hào)。Tensorflow會(huì)暴露(provide) libprotobuf 的部分符號(hào)。如果這個(gè)plugin需要的符號(hào)恰好在tensorflow中都能找到,那么很好。 但事情并非總是如此, 因?yàn)門ensorflow它只有一個(gè)partial的libprotobuf,它只包含它自己所必須的那部分protobuf的code。當(dāng)這個(gè)plugin想要的超出了tensorflow所能提供的范疇,寫plugin的人就會(huì)嘗試把protobuf加到link command中。這樣就會(huì)變得非常非常危險(xiǎn),程序隨時(shí)會(huì)崩潰。因?yàn)樗鼤?huì)在兩個(gè)不同的protobuf副本之間傳送protobuf的對(duì)象。 所以,不要看到“unresolved external symbol”就不動(dòng)腦子的把缺的庫加上,有時(shí)候這個(gè)錯(cuò)誤代表的是更深層次的問題。
 
糟糕的用例: cmake
cmake 3.16做了一個(gè)火上澆油的事情:當(dāng)你使用find_package(Protobuf)的時(shí)候,你需要提前知道你找到的究竟是動(dòng)態(tài)庫還是靜態(tài)庫,如果是靜態(tài)庫那么你需要設(shè)置Protobuf_USE_STATIC_LIBS成OFF,否則在Windows上鏈接會(huì)失敗。請(qǐng)注意: 不是cmake告訴你它找到的是什么,而是你要主動(dòng)告訴它,它找到的會(huì)是什么。

首先說明錯(cuò)誤的具體原因: 因?yàn)樾枰ㄐ哦鄠€(gè)進(jìn)程模塊都集成了相同的 *.pb.cc 和 *.pb.h 文件進(jìn)行編譯(動(dòng)態(tài)庫或者執(zhí)行文件),且在編譯時(shí)通過動(dòng)態(tài)庫 libprotobuf.so 的方式進(jìn)行鏈接 。

因?yàn)檫@個(gè),導(dǎo)致在運(yùn)行時(shí)報(bào)錯(cuò),通過網(wǎng)上查找得到: protobuf 本身有一個(gè) global 的 registry。每個(gè) message type 都需要去那里注冊(cè)一下,而且不能重復(fù)注冊(cè) 。上述的 Add 錯(cuò)誤就是因?yàn)樽?cè)失敗,原因就是因?yàn)檫@幾個(gè)中重復(fù)注冊(cè)了(多份 *.pb.cc 實(shí)現(xiàn))。

解決方案

根據(jù)網(wǎng)上的解決方案,我自己也實(shí)驗(yàn)了,歸納如下:

1、靜態(tài)庫編譯,使用 libprotobuf.a,即多個(gè)編譯目標(biāo)通過靜態(tài)庫的方式鏈接,但是這種方式勢(shì)必會(huì)導(dǎo)致程序編譯后的目標(biāo)大小增大,不太適合 ARM 容量小的設(shè)備。如果編譯目標(biāo)是動(dòng)態(tài)庫,則需要在交叉編譯 protobuf 加上-fPIC。

$ ./configure --host=arm-linux --disable-shared CFLAGS="-fPIC -fvisibility=hidden" CXXFLAGS="-fPIC -fvisibility=hidden" CC=aarch64-linux-gnu-gcc CXX=aarch64-linux-gnu-g++ --prefix=/home/protobuf/linux
$ make -j;make install

或者改 configure 文件再執(zhí)行 configure

// 改成下面的樣子(不同版本位置不對(duì),所以可以搜索 ac_cv_env_CFLAGS_set)
if test "x${ac_cv_env_CFLAGS_set}" = "x"; then
 CFLAGS="-fPIC"
fi

if test "x${ac_cv_env_CXXFLAGS_set}" = "x"; then
  CXXFLAGS="-fPIC"
fi
$ ./configure --host=arm-linux --disable-shared CC=aarch64-linux-gnu-gcc CXX=aarch64-linux-gnu-g++ --prefix=/home/protobuf/linux
$ make -j;make install

2、使用 protobuf-lite 版本,可以通過動(dòng)態(tài)庫 libprotobuf-lite.so 鏈接,但這個(gè)版本裁剪了很多功能,只保留了基本功能,這個(gè)需要修改 *.proto 文件,增加 option optimize_for  選項(xiàng),重新生成 *.pb.cc 和 *.pb.h 文件,然后各模塊集成編譯即可。

// 指定版本 (默認(rèn))使用protobuf2 
syntax = "proto2"; 
// 使用 lite 版本
option optimize_for = LITE_RUNTIME;
// 指定命名空間 
package ExampleNC; 

// 例1: 在 xxx.proto 文件中定義 CExample message 

message CExample 
{
     optional string stringDesc = 1;
     optional bytes bytesVal = 2; 
}

3、將生成的 *.pb.cc 和 *.pb.h 和 libprotobuf.a 編譯成一個(gè)新的動(dòng)態(tài)庫 libprotobuf-new.so,其他模塊包含 *.pb.h 文件并通過動(dòng)態(tài)庫的方式鏈接這個(gè)新的動(dòng)態(tài)庫即可。

這種方式解決了上述問題,也保留了全部功能,但是對(duì)于后續(xù)的維護(hù)存在一定問題,如果更新 *.proto 文件,重新生成并編譯了 libprotobuf-new.so,那么其他使用的模塊也必須都更新*.pb.h 文件重新編譯,否則在使用中會(huì)遇到:

  • 程序包只替換了 libprotobuf-new.so ,程序運(yùn)行時(shí)可能存在踩踏數(shù)據(jù)的情況,引發(fā)系統(tǒng)異常
  • 程序包只替換了其他模塊的庫,并沒有替換 libprotobuf-new.so ,就會(huì)導(dǎo)致進(jìn)程崩了

所以,在多人合作開發(fā)的程序?qū)崿F(xiàn)數(shù)據(jù)通信時(shí),這種方式并不好,兼容性太差,因?yàn)樾枰鎿Q所有涉及的模塊動(dòng)態(tài)庫或者執(zhí)行文件

以上三種解決方案各有利弊,可以根據(jù)實(shí)際情況選擇

到此這篇關(guān)于C++中的protobuf 的交叉編譯使用詳解的文章就介紹到這了,更多相關(guān)C++ protobuf交叉編譯內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

最新評(píng)論