欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Go語言HTTP請求流式寫入body的示例代碼

 更新時間:2020年06月03日 09:28:11   作者:mokeyWie  
這篇文章主要介紹了Go語言HTTP請求流式寫入body,本文通過示例代碼給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下

背景

最近在開發(fā)一個功能時,需要通過 http 協(xié)議上報大量的日志內(nèi)容,但是在 Go 標準庫里的 http client 的 API 是這樣的:

http.NewRequest(method, url string, body io.Reader)

body 是通過 io.Reader 接口來傳遞,并沒有暴露一個 io.Writer 接口來提供寫入的辦法,先來看看正常情況下怎么寫入一個 body ,示例:

需要先把要寫

buf := bytes.NewBuffer([]byte("hello"))
http.Post("localhost:8099/report","text/pain",buf)

入的數(shù)據(jù)放在 Buffer 中,放內(nèi)存緩存著,但是我需要寫入 大量 的數(shù)據(jù),如果都放內(nèi)存里肯定要 OOM 了,http client 并沒有提供 流式寫入 的方法,我這么大的數(shù)據(jù)量直接用 Buffer 肯定是不行的,最后在 google 了一番之后找到了解決辦法。

使用 io.pipe

調(diào)用 io.pipe() 方法會返回 ReaderWriter 接口實現(xiàn)對象,通過 Writer 寫數(shù)據(jù), Reader 就可以讀到,利用這個特性就可以實現(xiàn)流式的寫入,開一個協(xié)程來寫,然后把 Reader 傳遞到方法中,就可以實現(xiàn) http client body 的流式寫入了。

代碼示例:

pr, rw := io.Pipe()
// 開協(xié)程寫入大量數(shù)據(jù)
go func(){
 for i := 0; i < 100000; i++ {
 rw.Write([]byte(fmt.Sprintf("line:%d\r\n", i)))
 }
 rw.Close()
}()
// 傳遞Reader
http.Post("localhost:8099/report","text/pain",buf)

源碼閱讀 目的

了解 go 中 http client 對于 body 的傳輸是如何處理的。

開始

在構建 Request 的時候,會斷言 body 參數(shù)的類型,當類型為 *bytes.Buffer*bytes.Reader 、 *strings.Reader 的時候,可以直接通過 Len() 方法取出長度,用于 Content-Length 請求頭,相關代碼net/http/request.go#L872-L914

if body != nil {
 switch v := body.(type) {
 case *bytes.Buffer:
 req.ContentLength = int64(v.Len())
 buf := v.Bytes()
 req.GetBody = func() (io.ReadCloser, error) {
  r := bytes.NewReader(buf)
  return ioutil.NopCloser(r), nil
 }
 case *bytes.Reader:
 req.ContentLength = int64(v.Len())
 snapshot := *v
 req.GetBody = func() (io.ReadCloser, error) {
  r := snapshot
  return ioutil.NopCloser(&r), nil
 }
 case *strings.Reader:
 req.ContentLength = int64(v.Len())
 snapshot := *v
 req.GetBody = func() (io.ReadCloser, error) {
  r := snapshot
  return ioutil.NopCloser(&r), nil
 }
 default:
 }
 if req.GetBody != nil && req.ContentLength == 0 {
 req.Body = NoBody
 req.GetBody = func() (io.ReadCloser, error) { return NoBody, nil }
 }
}

在鏈接建立的時候,會通過 body 和上一步中得到的 ContentLength 來進行判斷,如果 body!=nil 并且 ContentLength==0 時,可能就會啟用 Chunked 編碼進行傳輸,相關代碼 net/http/transfer.go#L82-L96  :

case *Request:
 if rr.ContentLength != 0 && rr.Body == nil {
 return nil, fmt.Errorf("http: Request.ContentLength=%d with nil Body", rr.ContentLength)
 }
 t.Method = valueOrDefault(rr.Method, "GET")
 t.Close = rr.Close
 t.TransferEncoding = rr.TransferEncoding
 t.Header = rr.Header
 t.Trailer = rr.Trailer
 t.Body = rr.Body
 t.BodyCloser = rr.Body
 // 當body為非nil,并且ContentLength==0時,這里返回-1
 t.ContentLength = rr.outgoingLength()
 // TransferEncoding沒有手動設置,并且請求方法為PUT、POST、PATCH時,會啟用chunked編碼傳輸
 if t.ContentLength < 0 && len(t.TransferEncoding) == 0 && t.shouldSendChunkedRequestBody() {
 t.TransferEncoding = []string{"chunked"}
 }

驗證(一)

按照對源碼的理解,可以得知在使用 io.pipe() 方法進行流式傳輸時,會使用 chunked 編碼進行傳輸,通過以下代碼進行驗證:

服務端

func main(){
 http.HandleFunc("/report", func(writer http.ResponseWriter, request *http.Request) {

 })
 http.ListenAndServe(":8099", nil)
}

客戶端

func main(){
 pr, rw := io.Pipe()
 go func(){
 for i := 0; i < 100; i++ {
  rw.Write([]byte(fmt.Sprintf("line:%d\r\n", i)))
 }
 rw.Close()
 }()
 http.Post("localhost:8099/report","text/pain",buf)
}

先運行服務端,然后運行客戶端,并且使用 WireShake 進行抓包分析,結果如下:

可以看到和預想的結果一樣。

驗證(二)

在數(shù)據(jù)量大的時候 chunked 編碼會增加額外的開銷,包括編解碼和額外的報文開銷,能不能不用 chunked 編碼來進行 流式傳輸 呢?通過源碼可以得知,當 ContentLength 不為 0 時,如果能預先計算出待傳輸?shù)?body size ,是不是就能避免 chunked 編碼呢?思路就到這,接著就是寫代碼驗證:

服務端

func main(){
 http.HandleFunc("/report", func(writer http.ResponseWriter, request *http.Request) {

 })
 http.ListenAndServe(":8099", nil)
}

客戶端

count := 100
line := []byte("line\r\n")
pr, rw := io.Pipe()
go func() {
 for i := 0; i < count; i++ {
 rw.Write(line)
 }
 rw.Close()
}()
// 構造request對象
request, err := http.NewRequest("POST", "http://localhost:8099/report", pr)
if err != nil {
 log.Fatal(err)
}
// 提前計算出ContentLength
request.ContentLength = int64(len(line) * count)
// 發(fā)起請求
http.DefaultClient.Do(request)

抓包結果:

可以看到確實直接使用的 Content-Length 進行傳輸,沒有進行 chunked 編碼了。

總結

本文的目的主要是記錄 go 語言中 http client 如何進行流式的寫入,并通過閱讀源碼了解 http client 內(nèi)部對 body 的寫入是如何進行處理的,通過兩個驗證可以得知,如果能提前計算出 ContentLength 并且對性能要求比較苛刻的情況下,可以通過手動設置 ContentLength 來優(yōu)化性能。

到此這篇關于Go語言HTTP請求流式寫入body的文章就介紹到這了,更多相關Go語言HTTP請求內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!

相關文章

  • 用Go寫一個輕量級的ssh批量操作工具的方法

    用Go寫一個輕量級的ssh批量操作工具的方法

    這篇文章主要介紹了用Go寫一個輕量級的ssh批量操作工具的方法,小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2018-02-02
  • Go語言使用singleflight解決緩存擊穿

    Go語言使用singleflight解決緩存擊穿

    在構建高性能的服務時,緩存是優(yōu)化數(shù)據(jù)庫壓力和提高響應速度的關鍵技術,但使用緩存也會帶來一些問題,其中就包括緩存擊穿,下面我們就來看看Go語言中如何使用singleflight解決緩存擊穿問題吧
    2024-03-03
  • golang?gorm框架數(shù)據(jù)庫的連接操作示例

    golang?gorm框架數(shù)據(jù)庫的連接操作示例

    這篇文章主要為大家介紹了golang?gorm框架數(shù)據(jù)庫操作示例,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步早日升職加薪
    2022-04-04
  • 一文帶大家了解Go語言中的內(nèi)聯(lián)優(yōu)化

    一文帶大家了解Go語言中的內(nèi)聯(lián)優(yōu)化

    內(nèi)聯(lián)優(yōu)化是一種常見的編譯器優(yōu)化策略,通俗來講,就是把函數(shù)在它被調(diào)用的地方展開,這樣可以減少函數(shù)調(diào)用所帶來的開銷,本文主要為大家介紹了Go中內(nèi)聯(lián)優(yōu)化的具體使用,需要的可以參考下
    2023-05-05
  • GoLand?使用自定義包的實現(xiàn)步驟

    GoLand?使用自定義包的實現(xiàn)步驟

    包是Go語言中代碼組成和代碼編譯的主要方式,本文主要介紹了GoLand?使用自定義包的實現(xiàn)步驟,具有一定的參考價值,感興趣的可以了解一下
    2024-06-06
  • golang 函數(shù)返回chan類型的操作

    golang 函數(shù)返回chan類型的操作

    這篇文章主要介紹了golang 函數(shù)返回chan類型的操作,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2021-04-04
  • 重學Go語言之數(shù)組的具體使用詳解

    重學Go語言之數(shù)組的具體使用詳解

    Go的數(shù)組是一種復合數(shù)據(jù)類型,在平時開發(fā)中并不常用,更常用的是切片(slice),可以把切片看作是能動態(tài)擴容的數(shù)組,切片的底層數(shù)據(jù)結構就是數(shù)組,所以數(shù)組雖不常用,但仍然有必要掌握
    2023-02-02
  • golang中數(shù)組與切片的區(qū)別詳析

    golang中數(shù)組與切片的區(qū)別詳析

    數(shù)組是固定長度,常量,切片長度是可以改變,所以是一個可變的數(shù)組,下面這篇文章主要給大家介紹了關于golang中數(shù)組與切片區(qū)別的相關資料,文中通過實例代碼介紹的非常詳細,需要的朋友可以參考下
    2022-11-11
  • Golang并發(fā)之RWMutex的用法詳解

    Golang并發(fā)之RWMutex的用法詳解

    在?Go?語言中,RWMutex?是一種讀寫互斥鎖的實現(xiàn),它提供了一種簡單有效的方式來管理對共享資源的并發(fā)訪問。本文就來和大家詳細聊聊RWMutex的用法吧
    2023-04-04
  • 如何利用Golang寫出高并發(fā)代碼詳解

    如何利用Golang寫出高并發(fā)代碼詳解

    今天領導問起為什么用Golang,同事回答語法簡單,語言新,支持高并發(fā)。那高并發(fā)到底如何實現(xiàn),下面這篇文章主要給大家介紹了關于如何利用Golang寫出高并發(fā)代碼的相關資料,文中通過示例代碼介紹的非常詳細,需要的朋友可以參考借鑒,下面來一起看看吧。
    2017-09-09

最新評論