欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

SingleFlight模式的Go并發(fā)編程學(xué)習(xí)

 更新時間:2022年04月26日 11:44:50   作者:kevwan  
這篇文章主要為大家介紹了SingleFlight模式的Go并發(fā)編程學(xué)習(xí),有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪

最近接觸到微服務(wù)框架go-zero,翻看了整個框架代碼,發(fā)現(xiàn)結(jié)構(gòu)清晰、代碼簡潔,所以決定閱讀源碼學(xué)習(xí)下,本次閱讀的源碼位于core/syncx/singleflight.go。

go-zeroSingleFlight的作用是:將并發(fā)請求合并成一個請求,以減少對下層服務(wù)的壓力。

應(yīng)用場景

  • 查詢緩存時,合并請求,提升服務(wù)性能。 假設(shè)有一個 IP 查詢的服務(wù),每次用戶請求先在緩存中查詢一個 IP 的歸屬地,如果緩存中有結(jié)果則直接返回,不存在則進(jìn)行 IP 解析操作。

如上圖所示,n 個用戶請求查詢同一個 IP(8.8.8.8)就會對應(yīng) n 個 Redis 的查詢,在高并發(fā)場景下,如果能將 n 個 Redis 查詢合并成一個 Redis 查詢,那么性能肯定會提升很多,而 SingleFlight就是用來實現(xiàn)請求合并的,效果如下:

  • 防止緩存擊穿。

緩存擊穿問題是指:在高并發(fā)的場景中,大量的請求同時查詢一個 key ,如果這個 key 正好過期失效了,就會導(dǎo)致大量的請求都打到數(shù)據(jù)庫,導(dǎo)致數(shù)據(jù)庫的連接增多,負(fù)載上升。

通過SingleFlight可以將對同一個Key的并發(fā)請求進(jìn)行合并,只讓其中一個請求到數(shù)據(jù)庫進(jìn)行查詢,其他請求共享同一個結(jié)果,可以很大程度提升并發(fā)能力。

應(yīng)用方式

直接上代碼:

func main() {
  round := 10
  var wg sync.WaitGroup
  barrier := syncx.NewSingleFlight()
  wg.Add(round)
  for i := 0; i < round; i++ {
    go func() {
      defer wg.Done()
      // 啟用10個協(xié)程模擬獲取緩存操作
      val, err := barrier.Do("get_rand_int", func() (interface{}, error) {
        time.Sleep(time.Second)
        return rand.Int(), nil
      })
      if err != nil {
        fmt.Println(err)
      } else {
        fmt.Println(val)
      }
    }()
  }
  wg.Wait()
}

以上代碼,模擬 10 個協(xié)程請求 Redis 獲取一個 key 的內(nèi)容,代碼很簡單,就是執(zhí)行Do()方法。其中,接收兩個參數(shù),第一個參數(shù)是獲取資源的標(biāo)識,可以是 redis 中緩存的 key,第二個參數(shù)就是一個匿名函數(shù),封裝好要做的業(yè)務(wù)邏輯。最終獲得的結(jié)果如下:

5577006791947779410
5577006791947779410
5577006791947779410
5577006791947779410
5577006791947779410
5577006791947779410
5577006791947779410
5577006791947779410
5577006791947779410
5577006791947779410

從上看出,10個協(xié)程都獲得了同一個結(jié)果,也就是只有一個協(xié)程真正執(zhí)行了rand.Int()獲取了隨機(jī)數(shù),其他的協(xié)程都共享了這個結(jié)果。

源碼解析

先看代碼結(jié)構(gòu):

type (
  // 定義接口,有2個方法 Do 和 DoEx,其實邏輯是一樣的,DoEx 多了一個標(biāo)識,主要看Do的邏輯就夠了
  SingleFlight interface {
    Do(key string, fn func() (interface{}, error)) (interface{}, error)
    DoEx(key string, fn func() (interface{}, error)) (interface{}, bool, error)
  }
  // 定義 call 的結(jié)構(gòu)
  call struct {
    wg  sync.WaitGroup // 用于實現(xiàn)通過1個 call,其他 call 阻塞
    val interface{}    // 表示 call 操作的返回結(jié)果
    err error          // 表示 call 操作發(fā)生的錯誤
  }
  // 總控結(jié)構(gòu),實現(xiàn) SingleFlight 接口
  flightGroup struct {
    calls map[string]*call // 不同的 call 對應(yīng)不同的 key
    lock  sync.Mutex       // 利用鎖控制請求
  }
)

然后看最核心的Do方法做了什么事情:

func (g *flightGroup) Do(key string, fn func() (interface{}, error)) (interface{}, error) {
  c, done := g.createCall(key)
  if done {
    return c.val, c.err
  }
  g.makeCall(c, key, fn)
  return c.val, c.err
}

代碼很簡潔,利用g.createCall(key)對 key 發(fā)起 call 請求(其實就是做一件事情),如果此時已經(jīng)有其他協(xié)程已經(jīng)在發(fā)起 call 請求就阻塞住(done 為 true 的情況),等待拿到結(jié)果后直接返回。如果 done 是 false,說明當(dāng)前協(xié)程是第一個發(fā)起 call 的協(xié)程,那么就執(zhí)行g.makeCall(c, key, fn)真正地發(fā)起 call 請求(此后的其他協(xié)程就阻塞在了g.createCall(key))。 

從上圖可知,其實關(guān)鍵就兩步:

  • 判斷是第一個請求的協(xié)程(利用map)
  • 阻塞住其他所有協(xié)程(利用 sync.WaitGroup)

來看下g.createCall(key)如何實現(xiàn)的:

func (g *flightGroup) createCall(key string) (c *call, done bool) {
  g.lock.Lock()
  if c, ok := g.calls[key]; ok {
    g.lock.Unlock()
    c.wg.Wait()
    return c, true
  }
  c = new(call)
  c.wg.Add(1)
  g.calls[key] = c
  g.lock.Unlock()
  return c, false
}

先看第一步:判斷是第一個請求的協(xié)程(利用map)

g.lock.Lock()
if c, ok := g.calls[key]; ok {
  g.lock.Unlock()
  c.wg.Wait()
  return c, true
}

此處判斷 map 中的 key 是否存在,如果已經(jīng)存在,說明已經(jīng)有其他協(xié)程在請求了,當(dāng)前這個協(xié)程只需要等待,等待是利用了sync.WaitGroupWait()方法實現(xiàn)的,此處還是很巧妙的。要注意的是,map 在 Go 中是非并發(fā)安全的,所以需要加鎖。

再看第二步:阻塞住其他所有協(xié)程(利用 sync.WaitGroup)

c = new(call)
c.wg.Add(1)
g.calls[key] = c

因為是第一個發(fā)起 call 的協(xié)程,所以需要 new 這個 call,然后將wg.Add(1),這樣就對應(yīng)了上面的wg.Wait(),阻塞剩下的協(xié)程。隨后將 new 的 call 放入 map 中,注意此時只是完成了初始化,并沒有真正去執(zhí)行call請求,真正的處理邏輯在 g.makeCall(c, key, fn)中。

func (g *flightGroup) makeCall(c *call, key string, fn func() (interface{}, error)) {
  defer func() {
    g.lock.Lock()
    delete(g.calls, key)
    g.lock.Unlock()
    c.wg.Done()
  }()
  c.val, c.err = fn()
}

這個方法中做的事情很簡單,就是執(zhí)行了傳遞的匿名函數(shù)fn()(也就是真正call請求要做的事情)。最后處理收尾的事情(通過defer),也是分成兩步:

  • 刪除 map 中的 key,使得下次發(fā)起請求可以獲取新的值。
  • 調(diào)用wg.Done(),讓之前阻塞的協(xié)程全部獲得結(jié)果并返回。

至此,SingleFlight 的核心代碼就解析完畢了,雖然代碼不長,但是這個思想還是很棒的,可以在實際工作中借鑒。

總結(jié)

  • map 非并發(fā)安全,記得加鎖。
  • 巧用 sync.WaitGroup 去完成需要阻塞控制協(xié)程的應(yīng)用場景。
  • 通過匿名函數(shù) fn 去封裝傳遞具體業(yè)務(wù)邏輯,在調(diào)用 fn 的上層函數(shù)中去完成統(tǒng)一的邏輯處理。

項目地址

https://github.com/zeromicro/go-zero

以上就是SingleFlight模式的Go并發(fā)編程學(xué)習(xí)的詳細(xì)內(nèi)容,更多關(guān)于SingleFlight模式Go并發(fā)編程的資料請關(guān)注腳本之家其它相關(guān)文章!

相關(guān)文章

  • golang validator參數(shù)校驗的實現(xiàn)

    golang validator參數(shù)校驗的實現(xiàn)

    這篇文章主要介紹了golang validator參數(shù)校驗的實現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2020-10-10
  • golang開發(fā)中channel使用

    golang開發(fā)中channel使用

    channel[通道]是golang的一種重要特性,正是因為channel的存在才使得golang不同于其它語言。這篇文章主要介紹了golang開發(fā)中channel使用,需要的朋友可以參考下
    2020-09-09
  • Golang中常用的語法糖分享

    Golang中常用的語法糖分享

    語法糖,也稱糖語法,是由英國計算機(jī)科學(xué)家彼得·蘭丁提出的,用于表示編程語言中的某種類型的語法,這些語法不會影響功能,但使用起來卻很方便,本文就來看看Golang中常用的語法糖有哪些吧
    2023-05-05
  • GO 使用Webhook 實現(xiàn)github 自動化部署的方法

    GO 使用Webhook 實現(xiàn)github 自動化部署的方法

    這篇文章主要介紹了GO 使用Webhook 實現(xiàn)github 自動化部署的方法,本文通過實例代碼給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下
    2020-05-05
  • Go語言實現(xiàn)的簡單網(wǎng)絡(luò)端口掃描方法

    Go語言實現(xiàn)的簡單網(wǎng)絡(luò)端口掃描方法

    這篇文章主要介紹了Go語言實現(xiàn)的簡單網(wǎng)絡(luò)端口掃描方法,實例分析了Go語言網(wǎng)絡(luò)程序的實現(xiàn)技巧,具有一定參考借鑒價值,需要的朋友可以參考下
    2015-02-02
  • Go Comparable Type原理深入解析

    Go Comparable Type原理深入解析

    這篇文章主要為大家介紹了Go Comparable Type原理深入解析,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
    2023-01-01
  • Go語言實現(xiàn)自動填寫古詩詞實例代碼

    Go語言實現(xiàn)自動填寫古詩詞實例代碼

    這篇文章主要給大家介紹了關(guān)于Go語言實現(xiàn)自動填寫古詩詞的相關(guān)資料,這是最近在項目中遇到的一個需求,文中通過示例代碼介紹的非常詳細(xì),需要的朋友可以參考借鑒,下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧。
    2018-03-03
  • golang中sync.Map并發(fā)創(chuàng)建、讀取問題實戰(zhàn)記錄

    golang中sync.Map并發(fā)創(chuàng)建、讀取問題實戰(zhàn)記錄

    這篇文章主要給大家介紹了關(guān)于golang中sync.Map并發(fā)創(chuàng)建、讀取問題的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2018-07-07
  • 利用Go語言實現(xiàn)在終端繪制小兔子

    利用Go語言實現(xiàn)在終端繪制小兔子

    這篇文章主要為大家詳細(xì)介紹了如何利用Go語言實現(xiàn)在終端繪制小兔子來給大家拜個早年,文中的示例代碼講解詳細(xì),感興趣的小伙伴可以了解一下
    2023-01-01
  • golang 數(shù)組隨機(jī)排序的實現(xiàn)

    golang 數(shù)組隨機(jī)排序的實現(xiàn)

    本文主要介紹了golang 數(shù)組隨機(jī)排序的實現(xiàn),文中通過示例代碼介紹的非常詳細(xì),具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2021-12-12

最新評論