詳解Golang的GC和內(nèi)存逃逸
簡(jiǎn)介
每個(gè)版本的Golang的垃圾回收都在不斷優(yōu)化中，而且方法和策略都在變化，因此這里只是總結(jié)出以下幾個(gè)關(guān)鍵點(diǎn)：
- 什么樣的數(shù)據(jù)需要GC
- 觸發(fā)GC的條件是什么
- GC時(shí)發(fā)生了什么
- 能否從代碼層面上提高GC的效率
GC的基本流程
Golang在確定的時(shí)間，或者內(nèi)存分配到達(dá)一定程度時(shí)，進(jìn)行GC。GC時(shí)，會(huì)停止STW（Stop The World），即對(duì)外的服務(wù)都會(huì)暫停，然后進(jìn)行垃圾回收處理。Go1.12引入了三色標(biāo)記法和write-barrier的方式；在Go1.14中，引入看了搶占式回收機(jī)制。
write-barrier機(jī)制：
假設(shè)有4個(gè)G在運(yùn)行，如下圖：
進(jìn)行GC的時(shí)候，需要STW，此時(shí)的4個(gè)G都要停止工作。如果有一個(gè)沒(méi)有停止工作的，則GC暫時(shí)不能發(fā)生。比如下圖：
第4個(gè)G沒(méi)停止工作，則GC需要等待其結(jié)束。Go1.14中，可以搶占第4個(gè)G的工作狀態(tài)，保存其狀態(tài)后，再進(jìn)行GC
GC的時(shí)候，GC機(jī)制會(huì)征用一些G并發(fā)輔助進(jìn)行工作，一般有25%的G會(huì)被征用。
整體工作流程：
- 創(chuàng)建白、灰和黑三個(gè)集合
- 初始化所有的待回收對(duì)象都是白色的
- 從根節(jié)點(diǎn)遍歷對(duì)象，不遞歸；遍歷到的白色對(duì)象放到灰色集合當(dāng)中
- 之后遍歷灰色集合，把灰色對(duì)象引用的對(duì)象，從白色集合中放入灰色集合，并把現(xiàn)在的灰色對(duì)象放入黑色集合中
- 重復(fù)上一步，知道灰色集合是空的
- 通過(guò)write-barrier檢測(cè)對(duì)象的變化，重復(fù)以上操作
- 回收所有的白色對(duì)象
GC回收的對(duì)象
永遠(yuǎn)不要過(guò)早的優(yōu)化程序?。。?/strong>
棧內(nèi)存分配和回收的代價(jià)遠(yuǎn)遠(yuǎn)小于堆內(nèi)存。Golang的垃圾回收發(fā)生在全局的堆上和每個(gè)Goroutinue的棧上?；厥諚?nèi)存只需要兩個(gè)CPU指令，push和pop。然而，分配在棧內(nèi)存的數(shù)據(jù)，需要在編譯期間就得知道type和size。
Golang的編譯器使用“逃逸分析”的方式，決定采取?；厥者€是堆回收的方式。如果發(fā)生逃逸，則使用堆回收。
go build -gcflags '-m'命令可以分析內(nèi)存逃逸的現(xiàn)象。
發(fā)生內(nèi)存逃逸的幾種情況：
- 向chan中發(fā)送數(shù)據(jù)的指針或者包含指針的值。
- 因?yàn)榫幾g器此時(shí)不知道值什么時(shí)候會(huì)被接收，因此只能放入堆中
- 非直接的函數(shù)調(diào)用，比如在閉包中引用包外的值，因?yàn)殚]包執(zhí)行的生命周期可能會(huì)超過(guò)函數(shù)周期，因此需要放入堆中
- 在slice或map中存儲(chǔ)指針或者包含指針的值。
- 比如[]*string，即使slice是在棧上，其存儲(chǔ)的值仍然會(huì)放入堆中
- slice如果底層使用array作為容器，在使用append擴(kuò)容的時(shí)候。但是，如果知道具體擴(kuò)容的數(shù)量，則仍然在棧上。
- 如果在編譯期間，slice知道自己的size，那么放入棧中。更多的時(shí)候，是不知道size的，比如append的時(shí)候，此時(shí)只能放入堆中。
- interface類型多態(tài)的時(shí)候調(diào)用方法，此時(shí)會(huì)發(fā)生逃逸
- 指針、slice和map作為參數(shù)返回的時(shí)候，此時(shí)肯定要發(fā)生逃逸。
總結(jié)一下發(fā)生逃逸的結(jié)論：
- 首先明確一點(diǎn)，Golang中所有的數(shù)據(jù)都是按值傳遞，這點(diǎn)和C語(yǔ)言是一樣的（注意Golang中的數(shù)組名是值，和C的差別）。所謂的map、slice和chan等是引用，其本質(zhì)原因是，這些結(jié)構(gòu)的內(nèi)部都有指針，復(fù)制的時(shí)候，內(nèi)部都是復(fù)制的指針，因此表現(xiàn)的是傳值。
- 在函數(shù)調(diào)用中，對(duì)于指針的情況，只要指向的地址的所有者只有一個(gè)，那么必然是?；厥?；而一旦存在地址存在不確定變化時(shí)，則轉(zhuǎn)換成堆的數(shù)據(jù)。比如slice情況，因?yàn)閟lice會(huì)擴(kuò)容或者縮容，因此造成不確定情況。
以下使用代碼示例說(shuō)明：
package main
func main() {
ch := make(chan int, 1)
x := 5
ch <- x // x不發(fā)生逃逸，因?yàn)橹皇菑?fù)制的值
ch1 := make(chan *int, 1)
y := 5
py := &y
ch1 <- py // y逃逸，因?yàn)榈刂穫魅肓薱han
z := 5
pz := &z // z不逃逸，因?yàn)槭谴_定性析構(gòu)
*pz += 1
}執(zhí)行命令：go build -gcflags ./main.go，得到結(jié)論是y z都發(fā)生了逃逸。
# command-line-arguments
.\main.go:3:6: can inline main as: func() { ch := make(chan int, 1); x := 5; ch <- x; ch1 := make(chan *int, 1); y := 5; py := &y; ch1 <- py; z := 5; pz := &z; *pz += 1 }
.\main.go:9:2: y escapes to heap:
.\main.go:9:2: flow: py = &y:
.\main.go:9:2: from &y (address-of) at .\main.go:10:8
.\main.go:9:2: from py := &y (assign) at .\main.go:10:5
.\main.go:9:2: flow: {heap} = py:
.\main.go:9:2: from ch1 <- py (send) at .\main.go:11:6
.\main.go:9:2: moved to heap: y如果使用slice和map的模式：
package main
func main() {
var x int
x = 10
var ls []*int
ls = append(ls, &x)
var y int
var mp map[string]*int
mp["y"] = &y
}結(jié)論分析：
# command-line-arguments
.\main.go:3:6: can inline main as: func() { var x int; x = <N>; x = 10; var ls []*int; ls = <N>; ls = append(ls, &x); var y int; y = <N>; var mp map[string]*int; mp = <N>; mp["y"] = &y }
.\main.go:4:6: x escapes to heap:
.\main.go:4:6: flow: {heap} = &x:
.\main.go:4:6: from &x (address-of) at .\main.go:7:18
.\main.go:4:6: from append(ls, &x) (call parameter) at .\main.go:7:13
.\main.go:9:6: y escapes to heap:
.\main.go:9:6: flow: {heap} = &y:
.\main.go:9:6: from &y (address-of) at .\main.go:11:12
.\main.go:9:6: from mp["y"] = &y (assign) at .\main.go:11:10
.\main.go:4:6: moved to heap: x
.\main.go:9:6: moved to heap: y使用閉包捕獲指針的模式：
package main
import "time"
func main() {
x := 10
go func(x *int) {
*x += 1
}(&x) // 捕獲的瞬間，x沒(méi)有移動(dòng)到heap上，但是整個(gè)閉包移動(dòng)到了heap上，因此x也跟隨閉包被移動(dòng)到heap上了
time.Sleep(time.Second * 2)
}結(jié)論分析：
# command-line-arguments
.\main.go:5:6: cannot inline main: unhandled op GO
.\main.go:7:5: can inline main.func1 as: func(*int) { *x += 1 }
.\main.go:7:5: func literal escapes to heap:
.\main.go:7:5: flow: {heap} = &{storage for func literal}:
.\main.go:7:5: from func literal (spill) at .\main.go:7:5
.\main.go:7:5: from go (func literal)(&x) (call parameter) at .\main.go:7:2
.\main.go:6:2: x escapes to heap:
.\main.go:6:2: flow: {heap} = &x:
.\main.go:6:2: from &x (address-of) at .\main.go:9:4
.\main.go:6:2: from go (func literal)(&x) (call parameter) at .\main.go:7:2
.\main.go:7:10: x does not escape
.\main.go:6:2: moved to heap: x
.\main.go:7:5: func literal escapes to heap對(duì)于slice擴(kuò)容的情況：
package main
import (
"os"
"strconv"
)
func main() {
ls := []int{1, 2, 3}
ls = append(ls, 4) // 確定性的，不逃逸，編譯期間可以知道
var n int
n, _ = strconv.Atoi(os.Args[1]) // 輸入數(shù)據(jù)后，則結(jié)果不可知，因此可能逃逸
ls1 := []int{1, 2, 3}
for i := 0; i < n; i++ {
ls1 = append(ls1, 1)
}
}interface類型的GC，涉及使用interface類型轉(zhuǎn)換并調(diào)用對(duì)應(yīng)的方法的時(shí)候，都會(huì)發(fā)生內(nèi)存逃逸，給出代碼示例：
package main
type foo interface {
fooFunc()
}
type foo1 struct{}
func (f1 foo1) fooFunc() {}
type foo2 struct{}
func (f2 *foo2) fooFunc() {}
func main() {
var f foo
f = foo1{}
f.fooFunc() // 調(diào)用方法時(shí)，發(fā)生逃逸，因?yàn)榉椒ㄊ莿?dòng)態(tài)分配的
f = &foo2{}
f.fooFunc()
}執(zhí)行說(shuō)明：
go-code ? go build -gcflags "-m" main.go # command-line-arguments .\main.go:9:6: can inline foo1.fooFunc .\main.go:13:6: can inline (*foo2).fooFunc .\main.go:13:7: f2 does not escape .\main.go:17:4: foo1 literal escapes to heap .\main.go:19:6: &foo2 literal escapes to heap <autogenerated>:1: leaking param: .this <autogenerated>:1: inlining call to foo1.fooFunc <autogenerated>:1: .this does not escape
返回slice等的情況：
package main
func foo() []int {
return []int{1, 2, 3}
}
func main() {
ls := foo() // 發(fā)生逃逸
ls = append(ls, 1)
}分析結(jié)果：
# command-line-arguments
.\main.go:3:6: can inline foo as: func() []int { return []int literal }
.\main.go:7:6: can inline main as: func() { ls := foo(); ls = append(ls, 1) }
.\main.go:8:11: inlining call to foo func() []int { return []int literal }
.\main.go:4:14: []int literal escapes to heap:
.\main.go:4:14: flow: ~r0 = &{storage for []int literal}:
.\main.go:4:14: from []int literal (spill) at .\main.go:4:14
.\main.go:4:14: from return []int literal (return) at .\main.go:4:2
.\main.go:4:14: []int literal escapes to heap
.\main.go:8:11: []int literal does not escape傳值還是傳指針的問(wèn)題：
根據(jù)上面的分析，指針更容易出現(xiàn)內(nèi)存逃逸的現(xiàn)象。而一旦發(fā)生了內(nèi)存逃逸，則不可避免地對(duì)GC造成潛在的壓力。有種錯(cuò)誤的觀念：傳指針的代價(jià)總是比傳值的拷貝代價(jià)小。這種觀念只在像C語(yǔ)言這種沒(méi)有GC的低級(jí)語(yǔ)言中可能適用。原因如下：
- 對(duì)指針解引用的時(shí)候，編譯器會(huì)進(jìn)行一些檢查。
- 指針一般都不是臨近地址的引用，而復(fù)制時(shí)，一般都是CPU cash中的數(shù)據(jù)，cash line內(nèi)的數(shù)據(jù)的復(fù)制，速度基本和一個(gè)復(fù)制指針相等
因此，對(duì)于小型的數(shù)據(jù)，一般傳值就夠了。在某些情況下，需要對(duì)代碼做一些重構(gòu)，以消除成員變量中不必要的指針類型。slice有些情況下，可能也會(huì)造成內(nèi)存逃逸，使用已知固定長(zhǎng)度的slice，某些情況下會(huì)減少內(nèi)存逃逸。nterface調(diào)用方法會(huì)發(fā)生內(nèi)存逃逸，某些熱點(diǎn)的情況下，可以考慮優(yōu)化interface的情況。
幾個(gè)總結(jié)
- 永遠(yuǎn)不要過(guò)早的優(yōu)化，使用數(shù)據(jù)驅(qū)動(dòng)優(yōu)化代碼
- 棧回收的代價(jià)遠(yuǎn)遠(yuǎn)小于堆回收的代價(jià)
- 指針一般情況下會(huì)影響?；厥?/li>
- 在熱點(diǎn)代碼片段，謹(jǐn)慎的使用interface
以上就是詳解Golang的GC和內(nèi)存逃逸的詳細(xì)內(nèi)容，更多關(guān)于Golang GC和內(nèi)存逃逸的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
這篇文章主要介紹了go語(yǔ)言base64加密解密的方法,實(shí)例分析了Go語(yǔ)言base64加密解密的技巧,需要的朋友可以參考下2015-03-03
這篇文章主要為大家介紹了Go日志框架zap增強(qiáng)及源碼解讀，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-07-07
Golang自動(dòng)追蹤GitHub上熱門AI項(xiàng)目
這篇文章主要為大家介紹了Golang自動(dòng)追蹤GitHub上熱門AI項(xiàng)目,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-12-12
Golang使用Gin框架實(shí)現(xiàn)http分塊傳輸
這篇文章主要為大家詳細(xì)介紹了Golang中如何使用Gin框架實(shí)現(xiàn)http分塊傳輸功能，文中的示例代碼講解詳細(xì)，具有一定的學(xué)習(xí)價(jià)值，需要的可以參考一下2023-05-05
golang協(xié)程池模擬實(shí)現(xiàn)群發(fā)郵件功能
這篇文章主要介紹了golang協(xié)程池模擬實(shí)現(xiàn)群發(fā)郵件功能,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2021-05-05
這篇文章主要為大家介紹了Go本地測(cè)試解耦任務(wù)拆解及溝通詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-06-06
Golang使用Zookeeper實(shí)現(xiàn)分布式鎖
分布式鎖是一種在分布式系統(tǒng)中用于控制并發(fā)訪問(wèn)的機(jī)制,ZooKeeper?和?Redis?都是常用的實(shí)現(xiàn)分布式鎖的工具,本文就來(lái)使用Zookeeper實(shí)現(xiàn)分布式鎖,希望對(duì)大家有所幫助2024-02-02
這篇文章主要給大家介紹了關(guān)于Go語(yǔ)言中定時(shí)器cron使用的相關(guān)資料，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧。2018-01-01
go程序中同一個(gè)包下為什么會(huì)存在多個(gè)同名的函數(shù)或變量(詳細(xì)解析)
這篇文章主要介紹了go程序中同一個(gè)包下為什么會(huì)存在多個(gè)同名的函數(shù)或變量(詳細(xì)解析),本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2024-05-05
這篇文章主要介紹了GO語(yǔ)言映射（Map）用法,以實(shí)例形式較為詳細(xì)的分析了針對(duì)映射的創(chuàng)建、填充、遍歷及修改等操作的技巧,需要的朋友可以參考下2014-12-12