快捷導航

Go使用Protocol?Buffers在數(shù)據(jù)序列化的優(yōu)勢示例詳解

更新時間：2023年11月26日 11:16:26 作者：技術(shù)的游戲

這篇文章主要為大家介紹了Go使用Protocol?Buffers在數(shù)據(jù)序列化的優(yōu)勢示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪

介紹

這一次，我們將深入探討 Protocol Buffers（protobuf）及其在數(shù)據(jù)序列化中的超能力所在。

Protocol Buffers，也被稱為 protobuf，是由谷歌開發(fā)的一種語言無關(guān)的二進制序列化格式。其主要目的是為了高效地序列化結(jié)構(gòu)化數(shù)據(jù)，用于系統(tǒng)間通信和數(shù)據(jù)存儲。

Protocol Buffers 的主要優(yōu)勢：

1. 緊湊性：Protobuf 提供高效的序列化，生成較小的消息大小，提升帶寬利用效率。
2. 模式演進：Protobuf 支持模式演進而不破壞兼容性，允許對數(shù)據(jù)結(jié)構(gòu)進行無縫更新。
3. 高效的序列化和反序列化：Protobuf 提供快速高效的序列化，提升整體系統(tǒng)性能。
4. 跨平臺支持：Protobuf 允許不同平臺和語言之間無縫交換數(shù)據(jù)。

這些優(yōu)勢使得 Protobuf 成為在 Go 應用程序中進行高效數(shù)據(jù)通信和存儲的強大工具。

它比 JSON 和 XML 更好的地方：

XML，即可擴展標記語言，就像一張地圖，用標簽幫助組織和結(jié)構(gòu)化數(shù)據(jù)。它以一種人類和機器都能理解的方式呈現(xiàn)信息。然而，XML 可能冗長并占用更多空間，這可能降低性能，使數(shù)據(jù)傳輸效率降低。

JSON，即 JavaScript 對象表示法，就像一個信使，使用簡單的鍵值結(jié)構(gòu)來表示數(shù)據(jù)對象。它因易于閱讀和使用而在 Web 服務(wù)之間傳輸數(shù)據(jù)時變得流行。但 JSON 的基于文本的格式可能導致更大的文件大小，從而影響數(shù)據(jù)傳輸速度。

相比之下，Protocol Buffers（protobuf）在數(shù)據(jù)序列化領(lǐng)域脫穎而出。它就像一個魔術(shù)，將數(shù)據(jù)轉(zhuǎn)換為緊湊高效的二進制格式。Protobuf 以快速的數(shù)據(jù)處理和適應變化的數(shù)據(jù)結(jié)構(gòu)而聞名，并且在不破壞兼容性的情況下進行操作。它可以與不同的編程語言一起使用，并確保數(shù)據(jù)的可靠性。

總之，XML 和 JSON 各有用途，但如果您需要強大且高效的數(shù)據(jù)序列化解決方案，Protocol Buffer（protobuf）是首選。它提供緊湊性、速度、靈活性和兼容性，使其成為高效處理數(shù)據(jù)的首選方案。

在 Golang 中的序列化性能：Protocol Buffers vs. JSON

言歸正傳，讓我們動手實踐。

1. 訪問官方 Protocol Buffers GitHub 倉庫（https://github.com/protocolbuffers/protobuf）下載與您操作系統(tǒng)兼容的編譯器。
2. 使用 .proto 文件格式定義一個 Protocol Buffers 消息模式。

syntax = "proto3";
package main;
option go_package = "/;msgmodel";

message MyMessage {
  int32 id = 1;
  string name = 2;
  string email = 3;
}

編譯文件

protoc — go_out=. ./*proto

這個命令從 protobuf 模式生成 Go 代碼綁定。--go_out 標志指定輸出應為 Go 語言。這將生成一個 msg.pb.go 文件，其中包含您的 protobuf 模式所需的代碼綁定。

在 Golang 中實現(xiàn)一個基準測試，使用 protobuf 和 JSON 對大型數(shù)據(jù)集進行序列化。

package main
import (
    "encoding/json"
    "github.com/golang/protobuf/proto"
    "go-protobuf/model/message"
    "log"
    "testing"
)
const (
    iteration = 10000000 //Number of iterations for the benchmark test
)
func generateDataset() []*message.MyMessage {
    var dataset []*message.MyMessage
    for i := 0; i < iteration; i++ {
        data := &message.MyMessage{
            Email: "johndoe@example.com",
            Name:  "John Doe",
            Id:    int32(i),
        }
        dataset = append(dataset, data)
    }
    return dataset
}
func BenchmarkProtobufSerialisation(b *testing.B) {
    dataset := generateDataset()
    b.ResetTimer()
    for n := 0; n < b.N; n++ {
        for _, data := range dataset {
            _, err := proto.Marshal(data)
            if err != nil {
                log.Fatal(err)
            }
        }
    }
}
func BenchmarkJSONSerialization(b *testing.B) {
    dataset := generateDataset()
    b.ResetTimer()
    for n := 0; n < b.N; n++ {
        for _, data := range dataset {
            _, err := json.Marshal(data)
            if err != nil {
                log.Fatal(err)
            }
        }
    }
}
func main() {
    // Run the benchmark tests
    testing.Benchmark(BenchmarkProtobufSerialisation)
    testing.Benchmark(BenchmarkJSONSerialization)
}

根據(jù)基準測試結(jié)果（如下所示），很明顯，就速度而言，Protocol Buffers（Protobuf）的序列化性能優(yōu)于 JSON。與 JSON 的序列化基準測試相比，Protobuf 的序列化基準測試完成時間明顯較短。

內(nèi)存性能比較：JSON vs. Protocol Buffers

在 Golang 中實現(xiàn)一個基準測試，比較使用 Protocol Buffers 和 JSON 處理大型數(shù)據(jù)集時的內(nèi)存使用情況。

package main
import (
    "encoding/json"
    "github.com/golang/protobuf/proto"
    "go-protobuf/model/message"
    "log"
    "runtime"
    "runtime/debug"
    "testing"
)
const (
    iteration = 100000000 //Number of iterations for the benchmark test
)
func generateDataset() []*message.MyMessage {
    var dataset []*message.MyMessage
    for i := 0; i < iteration; i++ {
        data := &message.MyMessage{
            Email: "johndoe@example.com",
            Name:  "John Doe",
            Id:    int32(i),
        }
        dataset = append(dataset, data)
    }
    return dataset
}
func BenchmarkProtobufSerialisation(b *testing.B) {
    dataset := generateDataset()
    b.ResetTimer()
    for n := 0; n < b.N; n++ {
        for _, data := range dataset {
            _, err := proto.Marshal(data)
            if err != nil {
                log.Fatal(err)
            }
        }
    }
    measureMemoryUsage(b)
}
func BenchmarkJSONSerialization(b *testing.B) {
    dataset := generateDataset()
    b.ResetTimer()
    for n := 0; n < b.N; n++ {
        for _, data := range dataset {
            _, err := json.Marshal(data)
            if err != nil {
                log.Fatal(err)
            }
        }
    }
    measureMemoryUsage(b)
}
func measureMemoryUsage(b *testing.B) {
    debug.FreeOSMemory()
    var mem runtime.MemStats
    runtime.GC()
    runtime.ReadMemStats(&mem)
    b.ReportMetric(float64(mem.Alloc)/1024/1024, "Memory_MB")
}
func main() {
    // Run the benchmark tests
    testing.Benchmark(BenchmarkProtobufSerialisation)
    testing.Benchmark(BenchmarkJSONSerialization)
}

盡管差異很小，但基準測試結(jié)果表明，與 Protobuf 序列化相比，JSON 序列化使用了更多的內(nèi)存。平均而言，JSON 序列化消耗了約 0.2052 MB 的內(nèi)存，而 Protobuf 序列化僅使用了約 0.2042 MB。盡管差異很小，但很明顯 Protobuf 在內(nèi)存使用方面更加高效。這意味著 Protobuf 的緊湊二進制格式有助于節(jié)省內(nèi)存，使其成為處理大型數(shù)據(jù)集和提高性能的良好選擇。

結(jié)論

與在 Golang 中的 JSON 序列化相比，Protocol Buffers（protobuf）展現(xiàn)出了更優(yōu)越的性能和內(nèi)存效率。借助其緊湊的二進制格式和高效的序列化機制，protobuf 提供了更小的消息大小、提升了網(wǎng)絡(luò)效率，并減少了帶寬使用。此外，其模式演進能力允許對數(shù)據(jù)模型進行無縫更新。雖然 JSON 有其優(yōu)勢，但在需要高速和高內(nèi)存效率的數(shù)據(jù)序列化場景中，protobuf 出類拔萃，實現(xiàn)了優(yōu)化的數(shù)據(jù)傳輸和改善的系統(tǒng)性能。

以上就是Go使用Protocol Buffers在數(shù)據(jù)序列化的優(yōu)勢示例詳解的詳細內(nèi)容，更多關(guān)于Go Protocol Buffers數(shù)據(jù)序列化的資料請關(guān)注腳本之家其它相關(guān)文章！

您可能感興趣的文章: