欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Go語(yǔ)言HTTP請(qǐng)求流式寫(xiě)入body的示例代碼

 更新時(shí)間:2020年06月03日 09:28:11   作者:mokeyWie  
這篇文章主要介紹了Go語(yǔ)言HTTP請(qǐng)求流式寫(xiě)入body,本文通過(guò)示例代碼給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下

背景

最近在開(kāi)發(fā)一個(gè)功能時(shí),需要通過(guò) http 協(xié)議上報(bào)大量的日志內(nèi)容,但是在 Go 標(biāo)準(zhǔn)庫(kù)里的 http client 的 API 是這樣的:

http.NewRequest(method, url string, body io.Reader)

body 是通過(guò) io.Reader 接口來(lái)傳遞,并沒(méi)有暴露一個(gè) io.Writer 接口來(lái)提供寫(xiě)入的辦法,先來(lái)看看正常情況下怎么寫(xiě)入一個(gè) body ,示例:

需要先把要寫(xiě)

buf := bytes.NewBuffer([]byte("hello"))
http.Post("localhost:8099/report","text/pain",buf)

入的數(shù)據(jù)放在 Buffer 中,放內(nèi)存緩存著,但是我需要寫(xiě)入 大量 的數(shù)據(jù),如果都放內(nèi)存里肯定要 OOM 了,http client 并沒(méi)有提供 流式寫(xiě)入 的方法,我這么大的數(shù)據(jù)量直接用 Buffer 肯定是不行的,最后在 google 了一番之后找到了解決辦法。

使用 io.pipe

調(diào)用 io.pipe() 方法會(huì)返回 ReaderWriter 接口實(shí)現(xiàn)對(duì)象,通過(guò) Writer 寫(xiě)數(shù)據(jù), Reader 就可以讀到,利用這個(gè)特性就可以實(shí)現(xiàn)流式的寫(xiě)入,開(kāi)一個(gè)協(xié)程來(lái)寫(xiě),然后把 Reader 傳遞到方法中,就可以實(shí)現(xiàn) http client body 的流式寫(xiě)入了。

代碼示例:

pr, rw := io.Pipe()
// 開(kāi)協(xié)程寫(xiě)入大量數(shù)據(jù)
go func(){
 for i := 0; i < 100000; i++ {
 rw.Write([]byte(fmt.Sprintf("line:%d\r\n", i)))
 }
 rw.Close()
}()
// 傳遞Reader
http.Post("localhost:8099/report","text/pain",buf)

源碼閱讀 目的

了解 go 中 http client 對(duì)于 body 的傳輸是如何處理的。

開(kāi)始

在構(gòu)建 Request 的時(shí)候,會(huì)斷言 body 參數(shù)的類(lèi)型,當(dāng)類(lèi)型為 *bytes.Buffer 、 *bytes.Reader*strings.Reader 的時(shí)候,可以直接通過(guò) Len() 方法取出長(zhǎng)度,用于 Content-Length 請(qǐng)求頭,相關(guān)代碼net/http/request.go#L872-L914

if body != nil {
 switch v := body.(type) {
 case *bytes.Buffer:
 req.ContentLength = int64(v.Len())
 buf := v.Bytes()
 req.GetBody = func() (io.ReadCloser, error) {
  r := bytes.NewReader(buf)
  return ioutil.NopCloser(r), nil
 }
 case *bytes.Reader:
 req.ContentLength = int64(v.Len())
 snapshot := *v
 req.GetBody = func() (io.ReadCloser, error) {
  r := snapshot
  return ioutil.NopCloser(&r), nil
 }
 case *strings.Reader:
 req.ContentLength = int64(v.Len())
 snapshot := *v
 req.GetBody = func() (io.ReadCloser, error) {
  r := snapshot
  return ioutil.NopCloser(&r), nil
 }
 default:
 }
 if req.GetBody != nil && req.ContentLength == 0 {
 req.Body = NoBody
 req.GetBody = func() (io.ReadCloser, error) { return NoBody, nil }
 }
}

在鏈接建立的時(shí)候,會(huì)通過(guò) body 和上一步中得到的 ContentLength 來(lái)進(jìn)行判斷,如果 body!=nil 并且 ContentLength==0 時(shí),可能就會(huì)啟用 Chunked 編碼進(jìn)行傳輸,相關(guān)代碼 net/http/transfer.go#L82-L96  :

case *Request:
 if rr.ContentLength != 0 && rr.Body == nil {
 return nil, fmt.Errorf("http: Request.ContentLength=%d with nil Body", rr.ContentLength)
 }
 t.Method = valueOrDefault(rr.Method, "GET")
 t.Close = rr.Close
 t.TransferEncoding = rr.TransferEncoding
 t.Header = rr.Header
 t.Trailer = rr.Trailer
 t.Body = rr.Body
 t.BodyCloser = rr.Body
 // 當(dāng)body為非nil,并且ContentLength==0時(shí),這里返回-1
 t.ContentLength = rr.outgoingLength()
 // TransferEncoding沒(méi)有手動(dòng)設(shè)置,并且請(qǐng)求方法為PUT、POST、PATCH時(shí),會(huì)啟用chunked編碼傳輸
 if t.ContentLength < 0 && len(t.TransferEncoding) == 0 && t.shouldSendChunkedRequestBody() {
 t.TransferEncoding = []string{"chunked"}
 }

驗(yàn)證(一)

按照對(duì)源碼的理解,可以得知在使用 io.pipe() 方法進(jìn)行流式傳輸時(shí),會(huì)使用 chunked 編碼進(jìn)行傳輸,通過(guò)以下代碼進(jìn)行驗(yàn)證:

服務(wù)端

func main(){
 http.HandleFunc("/report", func(writer http.ResponseWriter, request *http.Request) {

 })
 http.ListenAndServe(":8099", nil)
}

客戶(hù)端

func main(){
 pr, rw := io.Pipe()
 go func(){
 for i := 0; i < 100; i++ {
  rw.Write([]byte(fmt.Sprintf("line:%d\r\n", i)))
 }
 rw.Close()
 }()
 http.Post("localhost:8099/report","text/pain",buf)
}

先運(yùn)行服務(wù)端,然后運(yùn)行客戶(hù)端,并且使用 WireShake 進(jìn)行抓包分析,結(jié)果如下:

可以看到和預(yù)想的結(jié)果一樣。

驗(yàn)證(二)

在數(shù)據(jù)量大的時(shí)候 chunked 編碼會(huì)增加額外的開(kāi)銷(xiāo),包括編解碼和額外的報(bào)文開(kāi)銷(xiāo),能不能不用 chunked 編碼來(lái)進(jìn)行 流式傳輸 呢?通過(guò)源碼可以得知,當(dāng) ContentLength 不為 0 時(shí),如果能預(yù)先計(jì)算出待傳輸?shù)?body size ,是不是就能避免 chunked 編碼呢?思路就到這,接著就是寫(xiě)代碼驗(yàn)證:

服務(wù)端

func main(){
 http.HandleFunc("/report", func(writer http.ResponseWriter, request *http.Request) {

 })
 http.ListenAndServe(":8099", nil)
}

客戶(hù)端

count := 100
line := []byte("line\r\n")
pr, rw := io.Pipe()
go func() {
 for i := 0; i < count; i++ {
 rw.Write(line)
 }
 rw.Close()
}()
// 構(gòu)造request對(duì)象
request, err := http.NewRequest("POST", "http://localhost:8099/report", pr)
if err != nil {
 log.Fatal(err)
}
// 提前計(jì)算出ContentLength
request.ContentLength = int64(len(line) * count)
// 發(fā)起請(qǐng)求
http.DefaultClient.Do(request)

抓包結(jié)果:

可以看到確實(shí)直接使用的 Content-Length 進(jìn)行傳輸,沒(méi)有進(jìn)行 chunked 編碼了。

總結(jié)

本文的目的主要是記錄 go 語(yǔ)言中 http client 如何進(jìn)行流式的寫(xiě)入,并通過(guò)閱讀源碼了解 http client 內(nèi)部對(duì) body 的寫(xiě)入是如何進(jìn)行處理的,通過(guò)兩個(gè)驗(yàn)證可以得知,如果能提前計(jì)算出 ContentLength 并且對(duì)性能要求比較苛刻的情況下,可以通過(guò)手動(dòng)設(shè)置 ContentLength 來(lái)優(yōu)化性能。

到此這篇關(guān)于Go語(yǔ)言HTTP請(qǐng)求流式寫(xiě)入body的文章就介紹到這了,更多相關(guān)Go語(yǔ)言HTTP請(qǐng)求內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • 用Go寫(xiě)一個(gè)輕量級(jí)的ssh批量操作工具的方法

    用Go寫(xiě)一個(gè)輕量級(jí)的ssh批量操作工具的方法

    這篇文章主要介紹了用Go寫(xiě)一個(gè)輕量級(jí)的ssh批量操作工具的方法,小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧
    2018-02-02
  • Go語(yǔ)言使用singleflight解決緩存擊穿

    Go語(yǔ)言使用singleflight解決緩存擊穿

    在構(gòu)建高性能的服務(wù)時(shí),緩存是優(yōu)化數(shù)據(jù)庫(kù)壓力和提高響應(yīng)速度的關(guān)鍵技術(shù),但使用緩存也會(huì)帶來(lái)一些問(wèn)題,其中就包括緩存擊穿,下面我們就來(lái)看看Go語(yǔ)言中如何使用singleflight解決緩存擊穿問(wèn)題吧
    2024-03-03
  • golang?gorm框架數(shù)據(jù)庫(kù)的連接操作示例

    golang?gorm框架數(shù)據(jù)庫(kù)的連接操作示例

    這篇文章主要為大家介紹了golang?gorm框架數(shù)據(jù)庫(kù)操作示例,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步早日升職加薪
    2022-04-04
  • 一文帶大家了解Go語(yǔ)言中的內(nèi)聯(lián)優(yōu)化

    一文帶大家了解Go語(yǔ)言中的內(nèi)聯(lián)優(yōu)化

    內(nèi)聯(lián)優(yōu)化是一種常見(jiàn)的編譯器優(yōu)化策略,通俗來(lái)講,就是把函數(shù)在它被調(diào)用的地方展開(kāi),這樣可以減少函數(shù)調(diào)用所帶來(lái)的開(kāi)銷(xiāo),本文主要為大家介紹了Go中內(nèi)聯(lián)優(yōu)化的具體使用,需要的可以參考下
    2023-05-05
  • GoLand?使用自定義包的實(shí)現(xiàn)步驟

    GoLand?使用自定義包的實(shí)現(xiàn)步驟

    包是Go語(yǔ)言中代碼組成和代碼編譯的主要方式,本文主要介紹了GoLand?使用自定義包的實(shí)現(xiàn)步驟,具有一定的參考價(jià)值,感興趣的可以了解一下
    2024-06-06
  • golang 函數(shù)返回chan類(lèi)型的操作

    golang 函數(shù)返回chan類(lèi)型的操作

    這篇文章主要介紹了golang 函數(shù)返回chan類(lèi)型的操作,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2021-04-04
  • 重學(xué)Go語(yǔ)言之?dāng)?shù)組的具體使用詳解

    重學(xué)Go語(yǔ)言之?dāng)?shù)組的具體使用詳解

    Go的數(shù)組是一種復(fù)合數(shù)據(jù)類(lèi)型,在平時(shí)開(kāi)發(fā)中并不常用,更常用的是切片(slice),可以把切片看作是能動(dòng)態(tài)擴(kuò)容的數(shù)組,切片的底層數(shù)據(jù)結(jié)構(gòu)就是數(shù)組,所以數(shù)組雖不常用,但仍然有必要掌握
    2023-02-02
  • golang中數(shù)組與切片的區(qū)別詳析

    golang中數(shù)組與切片的區(qū)別詳析

    數(shù)組是固定長(zhǎng)度,常量,切片長(zhǎng)度是可以改變,所以是一個(gè)可變的數(shù)組,下面這篇文章主要給大家介紹了關(guān)于golang中數(shù)組與切片區(qū)別的相關(guān)資料,文中通過(guò)實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下
    2022-11-11
  • Golang并發(fā)之RWMutex的用法詳解

    Golang并發(fā)之RWMutex的用法詳解

    在?Go?語(yǔ)言中,RWMutex?是一種讀寫(xiě)互斥鎖的實(shí)現(xiàn),它提供了一種簡(jiǎn)單有效的方式來(lái)管理對(duì)共享資源的并發(fā)訪問(wèn)。本文就來(lái)和大家詳細(xì)聊聊RWMutex的用法吧
    2023-04-04
  • 如何利用Golang寫(xiě)出高并發(fā)代碼詳解

    如何利用Golang寫(xiě)出高并發(fā)代碼詳解

    今天領(lǐng)導(dǎo)問(wèn)起為什么用Golang,同事回答語(yǔ)法簡(jiǎn)單,語(yǔ)言新,支持高并發(fā)。那高并發(fā)到底如何實(shí)現(xiàn),下面這篇文章主要給大家介紹了關(guān)于如何利用Golang寫(xiě)出高并發(fā)代碼的相關(guān)資料,文中通過(guò)示例代碼介紹的非常詳細(xì),需要的朋友可以參考借鑒,下面來(lái)一起看看吧。
    2017-09-09

最新評(píng)論