欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Go并發(fā)編程中sync/errGroup的使用

 更新時(shí)間:2021年12月12日 16:09:43   作者:深度思維者  
本文主要介紹了Go并發(fā)編程中sync/errGroup的使用,文中通過示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下

一.序

這一篇算是并發(fā)編程的一個(gè)補(bǔ)充,起因是當(dāng)前有個(gè)項(xiàng)目,大概の 需求是,根據(jù)kafka的分區(qū)(partition)數(shù),創(chuàng)建同等數(shù)量的 消費(fèi)者( goroutine)從不同的分區(qū)中消費(fèi)者消費(fèi)數(shù)據(jù),但是總有某種原因?qū)е?,某一個(gè)分區(qū)消費(fèi)者創(chuàng)建失敗,但是其他分區(qū)消費(fèi)者創(chuàng)建失敗。 最初的邏輯是,忽略分區(qū)失敗的邏輯,將成功創(chuàng)建的分區(qū)消費(fèi)者收集,用于獲取消息進(jìn)行數(shù)據(jù)處理。 代碼就不在這里展示。

問題其實(shí)很明確: 如果在初始化分區(qū)消費(fèi)者時(shí),只要有一個(gè)消費(fèi)創(chuàng)建失敗,那么初始化工作就算失敗,程序應(yīng)該panic,退出。

但是當(dāng)初設(shè)計(jì)時(shí),消費(fèi)者負(fù)責(zé)從kafka上游的某個(gè)topic獲取到數(shù)據(jù),然后經(jīng)過數(shù)據(jù)處理后,再通過生產(chǎn)者將處理后的數(shù)據(jù)發(fā)送到下游的topic中,由于當(dāng)時(shí)設(shè)計(jì)時(shí),代碼耦合比較重,導(dǎo)致無法通過初始化工作做這些,只能在啟動(dòng)生產(chǎn)者后, 再創(chuàng)建消費(fèi)者,這就導(dǎo)致 創(chuàng)建消費(fèi)者-->獲取數(shù)據(jù)-->處理數(shù)據(jù) 雜糅到了一起。 這個(gè)問題一直到最近才有時(shí)間想著來解決。

比如有三個(gè)分區(qū)創(chuàng)建了三個(gè)分區(qū)的消費(fèi)者,每個(gè)分區(qū)的消費(fèi)者對(duì)應(yīng)從自己的分區(qū)重獲取數(shù)據(jù),三個(gè)分區(qū)最初使用waitGroup進(jìn)行控制三個(gè)分區(qū)創(chuàng)建,只有當(dāng)三個(gè)分區(qū)都創(chuàng)建完成后才會(huì)執(zhí)行后續(xù)邏輯。 但是 waitgroup并不能很好的解決:只要一個(gè) goroutine 出錯(cuò)我們就不再等其他 goroutine 了,就默認(rèn)創(chuàng)建分區(qū)消費(fèi)者失敗了,所以此時(shí)便想到了 errGroup

二.errGroup

errGroup 是google開源的基礎(chǔ)擴(kuò)展庫(kù)。使用時(shí)先進(jìn)行下載

go get -u golang.org/x/sync

2.1 函數(shù)簽名

type Group struct {
 // contains filtered or unexported fields
}
 
    func WithContext(ctx context.Context) (*Group, context.Context)
    func (g *Group) Go(f func() error)
    func (g *Group) Wait() error

整個(gè)包就一個(gè) Group 結(jié)構(gòu)體

  • 通過WaitContext 可以創(chuàng)建一個(gè)帶取消的group
  • Go 方法傳入一個(gè) func() error 內(nèi)部會(huì)啟動(dòng)一個(gè)goroutine 去處理
  • Wait 類似WaitGroup的Wait 方法,等待所有的 goroutine結(jié)束后退出,返回的錯(cuò)誤是一個(gè)出錯(cuò)的 err

三.源碼

3.1 Group

type Group struct {
    // context 的 cancel 方法
 cancel func()
 
    // 復(fù)用 WaitGroup
 wg sync.WaitGroup
 
 // 用來保證只會(huì)接受一次錯(cuò)誤
 errOnce sync.Once
    // 保存第一個(gè)返回的錯(cuò)誤
 err     error
}

3.2 WaitContext

func WithContext(ctx context.Context) (*Group, context.Context) {
 ctx, cancel := context.WithCancel(ctx)
 return &Group{cancel: cancel}, ctx
}

WithContext 就是使用 WithCancel 創(chuàng)建一個(gè)可以取消的 context 將 cancel 賦值給 Group 保存起來,然后再將 context 返回回去

注意這里有一個(gè)坑,在后面的代碼中不要把這個(gè) ctx 當(dāng)做父 context 又傳給下游,因?yàn)?errgroup 取消了,這個(gè) context 就沒用了,會(huì)導(dǎo)致下游復(fù)用的時(shí)候出錯(cuò)

3.3 Go

func (g *Group) Go(f func() error) {
 g.wg.Add(1)
 
 go func() {
  defer g.wg.Done()
        
        // 通過執(zhí)行傳入的匿名函數(shù)返回的錯(cuò)誤值判斷是否需要執(zhí)行cancel
  if err := f(); err != nil {
      // 這一點(diǎn)很重要,確保錯(cuò)誤只會(huì)被執(zhí)行一次
   g.errOnce.Do(func() {
    g.err = err
    if g.cancel != nil {
     g.cancel()
    }
   })
  }
 }()
}

Go 方法是一個(gè)封裝,相當(dāng)于go 關(guān)鍵字的加強(qiáng),會(huì)啟動(dòng)一個(gè)攜程,然后利用waitgroup 來控制是否結(jié)束,如果有一個(gè)非 nil 的 error 出現(xiàn)就會(huì)保存起來并且如果有 cancel 就會(huì)調(diào)用 cancel 取消掉,使 ctx 返回

3.4 Wait

func (g *Group) Wait() error {
 g.wg.Wait()
 if g.cancel != nil {
  g.cancel()
 }
 return g.err
}

Wait 方法其實(shí)就是調(diào)用 WaitGroup 等待,如果有 cancel 就調(diào)用一下

四. 案例

基于 errgroup 實(shí)現(xiàn)一個(gè) http server 的啟動(dòng)和關(guān)閉 ,以及 linux signal 信號(hào)的注冊(cè)和處理,要保證能夠 一個(gè)退出,全部注銷退出。

package main
 
import (
 "context"
 "fmt"
 "log"
 "net/http"
 "os"
 "os/signal"
 "syscall"
 "time"
 
 "golang.org/x/sync/errgroup"
)
 
func main() {
 g, ctx := errgroup.WithContext(context.Background())
 
 mux := http.NewServeMux()
 mux.HandleFunc("/ping", func(w http.ResponseWriter, r *http.Request) {
  _, _ = w.Write([]byte("pong"))
 })
 
 // 模擬單個(gè)服務(wù)錯(cuò)誤退出
 serverOut := make(chan struct{})
 mux.HandleFunc("/shutdown", func(w http.ResponseWriter, r *http.Request) {
  serverOut <- struct{}{}
 })
 
 server := http.Server{
  Handler: mux,
  Addr:    ":8099",
 }
 
 // g1
 // g1 退出了所有的協(xié)程都能退出么?
 // g1 退出后, context 將不再阻塞,g2, g3 都會(huì)隨之退出
 // 然后 main 函數(shù)中的 g.Wait() 退出,所有協(xié)程都會(huì)退出
 g.Go(func() error {
  err := server.ListenAndServe() // 服務(wù)啟動(dòng)后會(huì)阻塞, 雖然使用的是 go 啟動(dòng),但是由于 g.WaitGroup 試得其是個(gè)阻塞的 協(xié)程
  if err != nil {
   log.Println("g1 error,will exit.", err.Error())
  }
  return err
 })
 
 // g2
 // g2 退出了所有的協(xié)程都能退出么?
 // 到調(diào)用 `/shutdown`接口時(shí), serverOut 無緩沖管道寫入數(shù)據(jù), case接收到數(shù)據(jù)后執(zhí)行server.shutdown, 此時(shí) g1 httpServer會(huì)退出
 // g1退出后,會(huì)返回error,將error加到g中,同時(shí)會(huì)調(diào)用 cancel()
 // g3 中會(huì) select case ctx.Done, context 將不再阻塞,g3 會(huì)隨之退出
 // 然后 main 函數(shù)中的 g.Wait() 退出,所有協(xié)程都會(huì)退出
 g.Go(func() error {
  select {
  case <-ctx.Done():
   log.Println("g2 errgroup exit...")
  case <-serverOut:
   log.Println("g2, request `/shutdown`, server will out...")
  }
 
  timeoutCtx, cancel := context.WithTimeout(context.Background(), 3*time.Second)
  // 這里不是必須的,但是如果使用 _ 的話靜態(tài)掃描工具會(huì)報(bào)錯(cuò),加上也無傷大雅
  defer cancel()
 
  err := server.Shutdown(timeoutCtx)
  log.Println("shutting down server...")
  return err
 })
 
 // g3
 // g3 捕獲到 os 退出信號(hào)將會(huì)退出
 // g3 退出了所有的協(xié)程都能退出么?
 // g3 退出后, context 將不再阻塞,g2 會(huì)隨之退出
 // g2 退出時(shí),調(diào)用了 shutdown,g1 會(huì)退出
 // 然后 main 函數(shù)中的 g.Wait() 退出,所有協(xié)程都會(huì)退出
 g.Go(func() error {
  quit := make(chan os.Signal, 0)
  signal.Notify(quit, syscall.SIGINT, syscall.SIGTERM)
 
  select {
  case <-ctx.Done():
   log.Println("g3, ctx execute cancel...")
   log.Println("g3 error,", ctx.Err().Error())
   // 當(dāng)g2退出時(shí),已經(jīng)有錯(cuò)誤了,此時(shí)的error 并不會(huì)覆蓋到g中
   return ctx.Err()
  case sig := <-quit:
   return fmt.Errorf("g3 get os signal: %v", sig)
  }
 })
 
 // g.Wait 等待所有 go執(zhí)行完畢后執(zhí)行
 fmt.Printf("end, errgroup exiting, %+v\n", g.Wait())
}

運(yùn)行測(cè)試

D:\gopath\src\Go_base\daily_test\errorGroup>go run demo.go

瀏覽器輸入http://127.0.0.1:8099/shutdown

控制臺(tái)輸出

2021/12/11 10:52:03 g2, request `/shutdown`, server will out...
2021/12/11 10:52:03 g1 error,will exit. http: Server closed
2021/12/11 10:52:03 g3, ctx execute cancel...
2021/12/11 10:52:03 g3 error, context canceled // 間隔了3s
2021/12/11 10:52:06 shutting down server...
end, errgroup exiting, http: Server closed

從執(zhí)行結(jié)果可以看出,這種退出可以保證每個(gè)goroutine都能在完成正在執(zhí)行的工作后退出

在terminal 按ctrl + c

輸出
2021/12/11 10:55:51 g2 errgroup exit...
2021/12/11 10:55:51 g1 error,will exit. http: Server closed
2021/12/11 10:55:51 shutting down server...
end, errgroup exiting, g3 get os signal: interrupt

分析都在代碼注釋中

五. 參考

https://lailin.xyz/post/go-training-week3-errgroup.html
https://pkg.go.dev/golang.org/x/sync/errgroup

到此這篇關(guān)于Go并發(fā)編程中sync/errGroup的使用的文章就介紹到這了,更多相關(guān)Go sync/errGroup內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • Go語言中切片使用的注意事項(xiàng)小結(jié)

    Go語言中切片使用的注意事項(xiàng)小結(jié)

    切片是引用類型,相信對(duì)大家來說都不陌生,下面這篇文章主要給大家總結(jié)介紹了關(guān)于Go語言中切片使用的一些注意事項(xiàng),文中通過示例代碼介紹的非常詳細(xì),需要的朋友可以參考借鑒,下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧。
    2018-01-01
  • Go實(shí)現(xiàn)基于RSA加密算法的接口鑒權(quán)

    Go實(shí)現(xiàn)基于RSA加密算法的接口鑒權(quán)

    這篇文章主要介紹了Go實(shí)現(xiàn)基于RSA加密算法的接口鑒權(quán),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2021-06-06
  • Go語言中錯(cuò)誤處理的方式總結(jié)

    Go語言中錯(cuò)誤處理的方式總結(jié)

    這篇文章會(huì)結(jié)合?errors?中的函數(shù),來討論一下?Go?中常見的?error?使用方式,文中的示例代碼講解詳細(xì),具有一定的學(xué)習(xí)價(jià)值,需要的可以了解一下
    2023-07-07
  • Go?語言中運(yùn)行?C程序?代碼?

    Go?語言中運(yùn)行?C程序?代碼?

    這篇文章主要介紹了Go?語言中運(yùn)行?C程序代碼,通過直接在?Go?代碼中寫入?C?程序運(yùn)行,下面操作過程需要的小伙伴可以參考一下
    2022-03-03
  • Golang?reflect反射的使用實(shí)例

    Golang?reflect反射的使用實(shí)例

    Golang反射的錯(cuò)誤大多數(shù)都來自于調(diào)用了一個(gè)不適合當(dāng)前類型的方法,而且,這些錯(cuò)誤通常是在運(yùn)行時(shí)才會(huì)暴露出來,而不是在編譯時(shí),如果我們傳遞的類型在反射代碼中沒有被覆蓋到那么很容易就會(huì)panic,本文就介紹一下使用go反射時(shí)很大概率會(huì)出現(xiàn)的錯(cuò)誤,需要的可以參考一下
    2023-04-04
  • 詳解Go語言中ErrGroup的使用

    詳解Go語言中ErrGroup的使用

    本文主要為大家詳細(xì)介紹了Go語言中errGroup的使用,文中通過示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2023-07-07
  • Go語言規(guī)范context?類型的key用法示例解析

    Go語言規(guī)范context?類型的key用法示例解析

    這篇文章主要為大家介紹了Go語言規(guī)范context?類型的key用法示例解析,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
    2023-08-08
  • Go語言HttpRouter路由使用方法詳解

    Go語言HttpRouter路由使用方法詳解

    這篇文章主要介紹了Go語言HttpRouter路由使用方法詳解,需要的朋友可以參考下
    2022-04-04
  • 利用 Go 語言編寫一個(gè)簡(jiǎn)單的 WebSocket 推送服務(wù)

    利用 Go 語言編寫一個(gè)簡(jiǎn)單的 WebSocket 推送服務(wù)

    這篇文章主要介紹了利用 Go 語言編寫一個(gè)簡(jiǎn)單的 WebSocket 推送服務(wù),需要的朋友可以參考下
    2018-04-04
  • golang容易導(dǎo)致內(nèi)存泄漏的6種情況匯總

    golang容易導(dǎo)致內(nèi)存泄漏的6種情況匯總

    內(nèi)存泄漏是我們?cè)谏a(chǎn)環(huán)境中必須面臨的問題,下面這篇文章主要給大家介紹了關(guān)于golang容易導(dǎo)致內(nèi)存泄漏的6種情況,文中通過實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下
    2023-01-01

最新評(píng)論