golang json性能分析詳解
前言
眾所周知Json 作為一種重要的數(shù)據(jù)格式,具有良好的可讀性以及自描述性,廣泛地應(yīng)用在各種數(shù)據(jù)傳輸場景中。Go 語言里面原生支持了這種數(shù)據(jù)格式的序列化以及反序列化,內(nèi)部使用反射機(jī)制實(shí)現(xiàn),性能有點(diǎn)差,在高度依賴 json 解析的應(yīng)用里,往往會(huì)成為性能瓶頸,好在已有很多第三方庫幫我們解決了這個(gè)問題,但是這么多庫,對(duì)于像我這種有選擇困難癥的人來說,到底要怎么選擇呢,下面就給大家來一一分析一下
ffjson
go get -u github.com/pquerna/ffjson
原生的庫性能比較差的主要原因是使用了很多反射的機(jī)制,為了解決這個(gè)問題,ffjson 通過預(yù)編譯生成代碼,類型的判斷在預(yù)編譯階段已經(jīng)確定,避免了在運(yùn)行時(shí)的反射
但也因此在編譯前需要多一個(gè)步驟,需要先生成 ffjson 代碼,生成代碼只需要執(zhí)行 ffjson <file.go>
就可以了,其中 file.go 是一個(gè)包含 json 結(jié)構(gòu)體定義的 go 文件。注意這里 ffjson 是這個(gè)庫提供的一個(gè)代碼生成工具,直接執(zhí)行上面的 go get 會(huì)把這個(gè)工具安裝在 $GOPATH/bin 目錄下,把 $GOPATH/bin 加到 $PATH 環(huán)境變量里面,可以全局訪問
另外,如果有些結(jié)構(gòu),不想讓 ffjson 生成代碼,可以通過增加注釋的方式
// ffjson: skip type Foo struct { Bar string } // ffjson: nodecoder type Foo struct { Bar string }
easyjson
go get -u github.com/mailru/easyjson/...
easyjson 的思想和 ffjson 是一致的,都是增加一個(gè)預(yù)編譯的過程,預(yù)先生成對(duì)應(yīng)結(jié)構(gòu)的序列化反序列化代碼,除此之外,easyjson 還放棄了一些原生庫里面支持的一些不必要的特性,比如:key 類型聲明,key 大小寫不敏感等等,以達(dá)到更高的性能
生成代碼執(zhí)行 easyjson -all <file.go>
即可,如果不指定 -all 參數(shù),只會(huì)對(duì)帶有 //easyjson:json 的結(jié)構(gòu)生成代碼
//easyjson:json type A struct { Bar string }
jsoniter
go get -u github.com/json-iterator/go
這是一個(gè)很神奇的庫,滴滴開發(fā)的,不像 easyjson 和 ffjson 都使用了預(yù)編譯,而且 100% 兼容原生庫,但是性能超級(jí)好,也不知道怎么實(shí)現(xiàn)的,如果有人知道的話,可以告訴我一下嗎?
2018-1-28日更新,來自官方(@taowen)的回復(fù):
沒啥神奇的。就是預(yù)先緩存了對(duì)應(yīng)struct的decoder實(shí)例而已。然后unsafe.Pointer省掉了一些interface{}的開銷。還有一些文本解析上的優(yōu)化
使用上面,你只要把所有的
import "encoding/json"
替換成
import "github.com/json-iterator/go" var json = jsoniter.ConfigCompatibleWithStandardLibrary
就可以了,其它都不需要?jiǎng)?/p>
codec-json
go get -u github.com/ugorji/go/codec
這個(gè)庫里面其實(shí)包含很多內(nèi)容,json 只是其中的一個(gè)功能,比較老,使用起來比較麻煩,性能也不是很好
jsonparser
go get -u github.com/buger/jsonparser
嚴(yán)格來說,這個(gè)庫不屬于 json 序列化的庫,只是提供了一些 json 解析的接口,使用的時(shí)候需要自己去設(shè)置結(jié)構(gòu)里面的值,事實(shí)上,每次調(diào)用都需要重新解析 json 對(duì)象,性能并不是很好
就像名字暗示的那樣,這個(gè)庫只是一個(gè)解析庫,并沒有序列化的接口
性能測試
對(duì)上面這些 json 庫,作了一些性能測試,測試代碼在:https://github.com/hatlonely/hellogolang/blob/master/internal/json/json_benchmark_test.go,下面是在我的 Macbook 上測試的結(jié)果(實(shí)際結(jié)果和庫的版本以及機(jī)器環(huán)境有關(guān),建議自己再測試一遍):
BenchmarkMarshalStdJson-4 1000000 1097 ns/op BenchmarkMarshalJsonIterator-4 2000000 781 ns/op BenchmarkMarshalFfjson-4 2000000 941 ns/op BenchmarkMarshalEasyjson-4 3000000 513 ns/op BenchmarkMarshalCodecJson-4 1000000 1074 ns/op BenchmarkMarshalCodecJsonWithBufio-4 1000000 2161 ns/op BenchmarkUnMarshalStdJson-4 500000 2512 ns/op BenchmarkUnMarshalJsonIterator-4 2000000 591 ns/op BenchmarkUnMarshalFfjson-4 1000000 1127 ns/op BenchmarkUnMarshalEasyjson-4 2000000 608 ns/op BenchmarkUnMarshalCodecJson-4 20000 122694 ns/op BenchmarkUnMarshalCodecJsonWithBufio-4 500000 3417 ns/op BenchmarkUnMarshalJsonparser-4 2000000 877 ns/op golang_json_performance
從上面的結(jié)果可以看出來:
- easyjson 無論是序列化還是反序列化都是最優(yōu)的,序列化提升了1倍,反序列化提升了3倍
- jsoniter 性能也很好,接近于easyjson,關(guān)鍵是沒有預(yù)編譯過程,100%兼容原生庫
- ffjson 的序列化提升并不明顯,反序列化提升了1倍
- codecjson 和原生庫相比,差不太多,甚至更差
- jsonparser 不太適合這樣的場景,性能提升并不明顯,而且沒有反序列化
所以綜合考慮,建議大家使用 jsoniter,如果追求極致的性能,考慮 easyjson
參考鏈接
- ffjson: https://github.com/pquerna/ffjson
- easyjson: https://github.com/mailru/easyjson
- jsoniter: https://github.com/json-iterator/go
- jsonparser: https://github.com/buger/jsonparser
- codecjson: http://ugorji.net/blog/go-codec-primer
總結(jié)
以上就是這篇文章的全部內(nèi)容了,希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,如果有疑問大家可以留言交流,謝謝大家對(duì)腳本之家的支持。
- golang使用json格式實(shí)現(xiàn)增刪查改的實(shí)現(xiàn)示例
- golang json.Marshal 特殊html字符被轉(zhuǎn)義的解決方法
- golang結(jié)構(gòu)體與json格式串實(shí)例代碼
- golang如何修改json文件內(nèi)容的方法示例
- Golang JSON的進(jìn)階用法實(shí)例講解
- golang如何自定義json序列化應(yīng)用詳解
- golang中json反序列化可能遇到的問題
- Golang map如何生成有序的json數(shù)據(jù)詳解
- 利用Golang解析json數(shù)據(jù)的方法示例
- Golang中使用JSON的一些小技巧分享
- golang實(shí)現(xiàn)sql結(jié)果集以json格式輸出的方法
- Golang 如何解析和生成json
相關(guān)文章
go語言發(fā)送smtp郵件的實(shí)現(xiàn)示例
這篇文章主要介紹了go發(fā)送smtp郵件的實(shí)現(xiàn)示例,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-09-09Go數(shù)據(jù)結(jié)構(gòu)之HeapMap實(shí)現(xiàn)指定Key刪除堆
這篇文章主要給大家介紹了Go語言數(shù)據(jù)結(jié)構(gòu)之HeapMap實(shí)現(xiàn)指定Key刪除堆,通過使用Go語言中的container/heap包,我們可以輕松地實(shí)現(xiàn)一個(gè)優(yōu)先級(jí)隊(duì)列,文中有詳細(xì)的代碼示例講解,需要的朋友可以參考下2023-07-07golang struct擴(kuò)展函數(shù)參數(shù)命名警告解決方法
今天在使用VSCode編寫golang代碼時(shí),定義一個(gè)struct,擴(kuò)展幾個(gè)方法,需要的朋友可以參考下2017-02-02Go語言Gin框架獲取請(qǐng)求參數(shù)的兩種方式
在添加路由處理函數(shù)之后,就可以在路由處理函數(shù)中編寫業(yè)務(wù)處理代碼了,而編寫業(yè)務(wù)代碼第一件事一般就是獲取HTTP請(qǐng)求的參數(shù)吧,Gin框架在net/http包的基礎(chǔ)上封裝了獲取參數(shù)的方式,本文小編給大家介紹了獲取參數(shù)的兩種方式,需要的朋友可以參考下2024-01-01詳解Go語言如何使用標(biāo)準(zhǔn)庫sort對(duì)切片進(jìn)行排序
Sort?標(biāo)準(zhǔn)庫提供了對(duì)基本數(shù)據(jù)類型的切片和自定義類型的切片進(jìn)行排序的函數(shù)。今天主要分享的內(nèi)容是使用?Go?標(biāo)準(zhǔn)庫?sort?對(duì)切片進(jìn)行排序,感興趣的可以了解一下2022-12-12Go語言面向?qū)ο笾械亩鄳B(tài)你學(xué)會(huì)了嗎
面向?qū)ο笾械亩鄳B(tài)(Polymorphism)是指一個(gè)對(duì)象可以具有多種不同的形態(tài)或表現(xiàn)方式,本文將通過一些簡單的示例為大家講解一下多態(tài)的實(shí)現(xiàn),需要的可以參考下2023-07-07