Go語言學習之WaitGroup用法詳解
前言
在前面的文章中，我們使用過 WaitGroup 進行任務編排，Go語言中的 WaitGroup 和 Java 中的 CyclicBarrier、CountDownLatch 非常類似。比如我們有一個主任務在執(zhí)行，執(zhí)行到某一點時需要并行執(zhí)行三個子任務，并且需要等到三個子任務都執(zhí)行完后，再繼續(xù)執(zhí)行主任務。那我們就需要設置一個檢查點，使主任務一直阻塞在這，等三個子任務執(zhí)行完后再放行。
說明：本文中的示例，均是基于Go1.17 64位機器
小試牛刀
我們先來個簡單的例子，看下 WaitGroup 是怎么使用的。示例中使用 Add(5) 表示我們有 5個 子任務，然后起了 5個 協(xié)程去完成任務，主協(xié)程使用 Wait() 方法等待 子協(xié)程執(zhí)行完畢，輸出一共等待的時間。
func main() {
var waitGroup sync.WaitGroup
start := time.Now()
waitGroup.Add(5)
for i := 0; i < 5; i++ {
go func() {
defer waitGroup.Done()
time.Sleep(time.Second)
fmt.Println("done")
}()
}
waitGroup.Wait()
fmt.Println(time.Now().Sub(start).Seconds())
}
/*
done
done
done
done
done
1.000306089
*/總覽
WaitGroup 一共有三個方法：
(wg *WaitGroup) Add(delta int) (wg *WaitGroup) Done() (wg *WaitGroup) Wait()
Add方法用于設置 WaitGroup 的計數(shù)值，可以理解為子任務的數(shù)量Done方法用于將 WaitGroup 的計數(shù)值減一，可以理解為完成一個子任務Wait方法用于阻塞調(diào)用者，直到 WaitGroup 的計數(shù)值為0，即所有子任務都完成
正常來說，我們使用的時候，需要先確定子任務的數(shù)量，然后調(diào)用 Add() 方法傳入相應的數(shù)量，在每個子任務的協(xié)程中，調(diào)用 Done()，需要等待的協(xié)程調(diào)用 Wait() 方法，狀態(tài)流轉(zhuǎn)如下圖：
底層實現(xiàn)
結(jié)構(gòu)體
type WaitGroup struct {
noCopy noCopy // noCopy 字段標識，由于 WaitGroup 不能復制，方便工具檢測
state1 [3]uint32 // 12個字節(jié)，8個字節(jié)標識 計數(shù)值和等待數(shù)量，4個字節(jié)用于標識信號量
}state1 是個復合字段，會拆分為兩部分： 64位（8個字節(jié)）的 statep 作為一個整體用于原子操作, 其中前面4個字節(jié)表示計數(shù)值，后面四個字節(jié)表示等待數(shù)量；剩余 32位（4個字節(jié)）semap 用于標識信號量。
Go語言中對于64位的變量進行原子操作，需要保證該變量是64位對齊的，也就是要保證這 8個字節(jié) 的首地址是 8 的整數(shù)倍。因此當 state1 的首地址是 8 的整數(shù)倍時，取前8個字節(jié)作為 statep ，后4個字節(jié)作為 semap；當 state1 的首地址不是 8 的整數(shù)倍時，取后8個字節(jié)作為 statep ，前4個字節(jié)作為 semap。
func (wg *WaitGroup) state() (statep *uint64, semap *uint32) {
// 首地址是8的倍數(shù)時，前8個字節(jié)為 statep, 后四個字節(jié)為 semap
if uintptr(unsafe.Pointer(&wg.state1))%8 == 0 {
return (*uint64)(unsafe.Pointer(&wg.state1)), &wg.state1[2]
} else {
// 后8個字節(jié)為 statep, 前四個字節(jié)為 semap
return (*uint64)(unsafe.Pointer(&wg.state1[1])), &wg.state1[0]
}
}Add
Add方法用于添加一個計數(shù)值（負數(shù)相當于減），當計數(shù)值變?yōu)?后，Wait方法阻塞的所有等待者都會被釋放- 計數(shù)值變?yōu)樨摂?shù)是非法操作，產(chǎn)生
panic - 當計數(shù)值為0時（初始狀態(tài)），
Add方法不能和Wait方法并發(fā)調(diào)用，需要保證Add方法在Wait方法之前調(diào)用，否則會panic
func (wg *WaitGroup) Add(delta int) {
// 拿到計數(shù)值等待者變量 statep 和 信號量 semap
statep, semap := wg.state()
// 計數(shù)值加上 delta: statep 的前四個字節(jié)是計數(shù)值，因此將 delta 前移 32位
state := atomic.AddUint64(statep, uint64(delta)<<32)
// 計數(shù)值
v := int32(state >> 32)
// 等待者數(shù)量
w := uint32(state)
// 如果加上 delta 之后，計數(shù)值變?yōu)樨摂?shù)，不合法，panic
if v < 0 {
panic("sync: negative WaitGroup counter")
}
// delta > 0 && v == int32(delta) : 表示從 0 開始添加計數(shù)值
// w!=0 ：表示已經(jīng)有了等待者
// 說明在添加計數(shù)值的時候，同時添加了等待者，非法操作。添加等待者需要在添加計數(shù)值之后
if w != 0 && delta > 0 && v == int32(delta) {
panic("sync: WaitGroup misuse: Add called concurrently with Wait")
}
// v>0 : 計數(shù)值不等于0，不需要喚醒等待者，直接返回
// w==0: 沒有等待者，不需要喚醒，直接返回
if v > 0 || w == 0 {
return
}
// 再次檢查數(shù)據(jù)是否一致
if *statep != state {
panic("sync: WaitGroup misuse: Add called concurrently with Wait")
}
// 到這里說明計數(shù)值為0，且等待者大于0，需要喚醒所有的等待者，并把系統(tǒng)置為初始狀態(tài)（0狀態(tài)）
// 將計數(shù)值和等待者數(shù)量都置為0
*statep = 0
// 喚醒等待者
for ; w != 0; w-- {
runtime_Semrelease(semap, false, 0)
}
}Done
// 完成一個任務，將計數(shù)值減一，當計數(shù)值減為0時，需要喚醒所有的等待者
func (wg *WaitGroup) Done() {
wg.Add(-1)
}Wait
// 調(diào)用 Wait 方法會被阻塞，直到 計數(shù)值 變?yōu)?
func (wg *WaitGroup) Wait() {
// 獲取計數(shù)、等待數(shù)和信號量
statep, semap := wg.state()
for {
state := atomic.LoadUint64(statep)
// 計數(shù)值
v := int32(state >> 32)
// 等待者數(shù)量
w := uint32(state)
// 計數(shù)值數(shù)量為0，直接返回，無需等待
if v == 0 {
return
}
// 到這里說明計數(shù)值數(shù)量大于0
// 增加等待者數(shù)量：這里會有競爭，比如多個 Wait 調(diào)用，或者在同時調(diào)用 Add 方法，增加不成功會繼續(xù) for 循環(huán)
if atomic.CompareAndSwapUint64(statep, state, state+1) {
// 增加成功后，阻塞在信號量這里，等待被喚醒
runtime_Semacquire(semap)
// 被喚醒的時候，應該是0狀態(tài)。如果重用 WaitGroup，需要等 Wait 返回
if *statep != 0 {
panic("sync: WaitGroup is reused before previous Wait has returned")
}
return
}
}
}易錯點
上面分析源碼可以看到幾個會產(chǎn)生 panic 的點，這也是我們使用 WaitGroup 需要注意的地方
1.計數(shù)值變?yōu)樨摂?shù)
調(diào)用 Add 時參數(shù)值傳負數(shù)
func main() {
var wg sync.WaitGroup
wg.Add(1)
wg.Add(-1)
wg.Add(-1)
}多次調(diào)用 Done 方法
func main() {
var wg sync.WaitGroup
wg.Add(1)
go func() {
fmt.Println("test")
wg.Done()
wg.Done()
}()
time.Sleep(time.Second)
wg.Wait()
}2.Add 和 Wait 并發(fā)調(diào)用
Add 和 Wait 并發(fā)調(diào)用，有可能達不到我們預期的效果，甚至 panic。如下示例中，我們想要等待 3 個子任務都執(zhí)行完后再執(zhí)行主任務，但實際情況可能是子任務還沒起來，主任務就繼續(xù)往下執(zhí)行了。
func doSomething(wg *sync.WaitGroup) {
wg.Add(1)
fmt.Println("do something")
defer wg.Done()
}
func main() {
var wg sync.WaitGroup
for i := 0; i < 3; i++ {
go doSomething(&wg)
}
wg.Wait()
fmt.Println("main")
}
//main
//do something
//do something正確的使用方式，應該是在調(diào)用 Wait 前先調(diào)用 Add
func doSomething(wg *sync.WaitGroup) {
defer wg.Done()
fmt.Println("do something")
}
func main() {
var wg sync.WaitGroup
wg.Add(3)
for i := 0; i < 3; i++ {
go doSomething(&wg)
}
wg.Wait()
fmt.Println("main")
}
//do something
//do something
//do something
//main3.沒有等 Wait 返回，就重用 WaitGroup
func main() {
var wg sync.WaitGroup
wg.Add(1)
go func() {
fmt.Println("do something")
wg.Done()
wg.Add(1)
}()
wg.Wait()
}4.復制使用
我們知道 Go 語言中的參數(shù)傳遞，都是值傳遞，就會產(chǎn)生復制操作。因此在向函數(shù)傳遞 WaitGroup 時，使用指針進行操作。
// 錯誤使用方式，沒有使用指針
func doSomething(wg sync.WaitGroup) {
fmt.Println("do something")
defer wg.Done()
}
func main() {
var wg sync.WaitGroup
wg.Add(3)
for i := 0; i < 3; i++ {
// 這里沒使用指針，wg狀態(tài)一直不會改變，導致 Wait 一直阻塞
go doSomething(wg)
}
wg.Wait()
fmt.Println("main")
}總結(jié)
我們通過源碼+示例的方式，一起學習了 sync.WaitGroup 實現(xiàn)邏輯，同時也給出了一些注意點，只要做到如下操作，就不會出現(xiàn)問題：
- 保證 Add 在 Wait 前調(diào)用
- Add 中不傳遞負數(shù)
- 任務完成后不要忘記調(diào)用 Done 方法，建議使用 defer wg.Done()
- 不要復制使用 WaitGroup，函數(shù)傳遞時使用指針傳遞
- 盡量不復用 WaigGroup，減少出問題的風險
到此這篇關于Go語言學習之WaitGroup用法詳解的文章就介紹到這了,更多相關Go語言 WaitGroup內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
本文主要介紹了Golang之模糊測試工具的使用，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2023-03-03
本文將介紹Go語言中的模塊（module）概念,以及如何使用Go模塊進行依賴管理,我們會探討模塊的基本概念、使用方法、配置和依賴關系管理等方面的內(nèi)容,需要的朋友可以參考下2023-10-10
如何在golang中使用shopspring/decimal來處理精度問題
本文主要介紹了如何在golang中使用shopspring/decimal來處理精度問題，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2023-04-04
這篇文章主要介紹了Go 語言的指針的學習筆記，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-09-09
在Go語言中,可以使用strings.Contains()函數(shù)來判斷一個字符串是否包含另一個字符串,該函數(shù)接受兩個參數(shù)：要搜索的字符串和要查找的子字符串,如果子字符串存在于要搜索的字符串中,則返回true,否則返回false,下面通過示例詳細介紹,感興趣的朋友一起看看吧2023-09-09
這篇文章主要介紹了淺談Go語言并發(fā)機制，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-11-11
這篇文章主要為大家詳細介紹了如何利用Golang實現(xiàn)快速求冪，文中的示例代碼講解詳細，對我們學習或工作有一定參考價值，需要的可以參考一下2022-06-06
這篇文章主要給大家介紹了關于Go語言學習技巧之如何合理使用Pool的相關資料，Pool用于存儲那些被分配了但是沒有被使用，而未來可能會使用的值，以減小垃圾回收的壓力。文中通過示例代碼介紹的非常詳細，需要的朋友可以參考下。2017-12-12
golang實現(xiàn)微信小程序商城后臺系統(tǒng)（moshopserver）
這篇文章主要介紹了golang實現(xiàn)微信小程序商城后臺系統(tǒng)（moshopserver）,本文通過截圖實例代碼的形式給大家介紹的非常詳細，具有一定的參考借鑒價值，需要的朋友可以參考下2020-02-02
在當今互聯(lián)網(wǎng)應用的架構(gòu)中,分布式系統(tǒng)已經(jīng)成為主流,分布式系統(tǒng)的優(yōu)勢在于能夠提供高可用性、高并發(fā)性和可擴展性,本文將介紹鏈路追蹤的概念和原理,并重點介紹如何在Golang中實現(xiàn)高效可靠的鏈路追蹤系統(tǒng),需要的朋友可以參考下2023-10-10