golang中定時(shí)器cpu使用率高的現(xiàn)象詳析
前言:
廢話少說(shuō),上線一個(gè)用golang寫(xiě)的高頻的任務(wù)派發(fā)系統(tǒng),上線跑著很穩(wěn)定,但有個(gè)缺點(diǎn)就是當(dāng)沒(méi)有任務(wù)的時(shí)候,cpu的消耗也在幾個(gè)百分點(diǎn)。 平均值在3%左右的cpu使用率。你沒(méi)有任務(wù)的時(shí)候,cpu還跑到3%,這個(gè)說(shuō)不過(guò)去呀。通過(guò)查看進(jìn)程pidstat捕獲得知,system系統(tǒng)的cpu消耗也不少。
sys的cpu占用率高一般是由于大量的syscall系統(tǒng)調(diào)用引起的….
下面的截圖是用strace統(tǒng)計(jì)出來(lái)的系統(tǒng)調(diào)用…. 我們發(fā)現(xiàn) futex 和 pselect6 的syscall非常的多…. futex 是鎖的調(diào)用,pselect6可以理解為select的加強(qiáng)版,除了我們不關(guān)心的信號(hào)掩碼外,他是支持納秒級(jí)別的定時(shí)器。
那我們知道,在golang里很多的鎖操作,比如sync.Mutex 已經(jīng)被抽象成 標(biāo)志位及waitQueue,加runtime調(diào)度的模式。這也是所有協(xié)程框架會(huì)做的事情,抽象鎖的操作,避免陷入內(nèi)核上下文切換,使用協(xié)程內(nèi)置的調(diào)度器,golang是通過(guò)runtime來(lái)做使這些Goroutine排隊(duì)的喚醒和拿鎖。 我們用戶層除了cgo之外,是不容易調(diào)用futex syscall….
有人說(shuō)了,channel是有鎖的,對(duì)的,channel的底層數(shù)據(jù)結(jié)構(gòu)是有鎖對(duì)象的,但是他的鎖操作正如我上面說(shuō)的那樣,已經(jīng)被抽象成atomic cas了, 不可能這么多futex的。
下面是火焰圖的表現(xiàn).
那我們先放棄futex的追查,先來(lái)排查下 pselect6為毛這么多? 整個(gè)系統(tǒng)里看起來(lái)會(huì)用到超時(shí)邏輯的只有select了。 為了避免channel讀寫(xiě)長(zhǎng)時(shí)間阻塞,我們通常都會(huì)加一個(gè)定時(shí)器,比如使用 time.After, time.NewTicker, time.NewTimer ….
測(cè)試定時(shí)器與futex及pselect6的關(guān)系
既然確定是 定時(shí)器的問(wèn)題,那么我們來(lái)做測(cè)試下各種的組合,把協(xié)程數(shù)和定時(shí)器時(shí)間的精度提高來(lái)看。
下面是 300個(gè)協(xié)程,sleep 100ms 的cpu占用比.
下面是 800個(gè)協(xié)程,sleep 100ms的cpu占用比 .
下面是800個(gè)協(xié)程,sleep加長(zhǎng)到1s 之后的cpu表現(xiàn).
通過(guò)測(cè)試來(lái)看,只要把定時(shí)器的時(shí)間精度放到1秒,cpu占用率還是降低了不少…. 所以說(shuō),有用 …
那么回到問(wèn)題,前面說(shuō)的 futex 怎么一回事? 跟定時(shí)器是否有聯(lián)系? 答案是有聯(lián)系的 . 定時(shí)器精度小的時(shí)候,futex鎖操作次數(shù)相對(duì)應(yīng)的變高。 反之,定時(shí)器提升到大幾秒,futex邊的更少了…
那么問(wèn)題又來(lái)了,定時(shí)器為什么會(huì)產(chǎn)生鎖? 定時(shí)器不外乎就那幾個(gè)方法,小頂堆呀,紅黑樹(shù)呀…. golang使用堆來(lái)構(gòu)建全局定時(shí)器,既然是堆,那么肯定就要有鎖,開(kāi)了幾百個(gè)協(xié)程,如果有N個(gè)P,那么幾百個(gè)協(xié)程會(huì)分派在不同的P上。 協(xié)程需要跑在線程上,那么這么多的線程去操作heap堆,自然就會(huì)有更多的鎖沖突,鎖操作了。
先前的cpu占用率高的代碼樣例:
# xiaorui.cc var ticker = time.NewTicker(100 * time.Millisecond) defer ticker.Stop() var counter = 0 for { select { case <-serverDone: return case <-ticker.C: counter += 1 } } }
如何解決上面說(shuō)的問(wèn)題?
要么就不要用定時(shí)器
如果非要使用,可以把時(shí)間精度放大,或者 自定義定時(shí)器,比如開(kāi)發(fā)一個(gè)時(shí)間輪,時(shí)間輪的刻度可以配置成一毫秒,這樣可以收斂很多的定時(shí)任務(wù)。 時(shí)間輪也是各大公司推薦的方案。
可以參考下面時(shí)間輪的實(shí)現(xiàn)…
END
總結(jié)
以上就是這篇文章的全部?jī)?nèi)容了,希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,如果有疑問(wèn)大家可以留言交流,謝謝大家對(duì)腳本之家的支持。
相關(guān)文章
深入剖析Go語(yǔ)言中數(shù)組和切片的區(qū)別
本文將深入探討 Go 語(yǔ)言數(shù)組和切片的區(qū)別,包括它們的定義、內(nèi)存布局、長(zhǎng)度和容量、初始化和操作等方面。從而更好地在實(shí)際開(kāi)發(fā)中選擇和使用合適的數(shù)據(jù)結(jié)構(gòu),提高代碼的效率和可維護(hù)性,需要的可以參考一下2023-05-05簡(jiǎn)單聊聊Go語(yǔ)言中空結(jié)構(gòu)體和空字符串的特殊之處
在日常的編程過(guò)程中,大家應(yīng)該經(jīng)常能遇到各種”空“吧,比如空指針、空結(jié)構(gòu)體、空字符串等,本文就以?Go?語(yǔ)言為例,一起來(lái)看看空結(jié)構(gòu)體和空字符串在?Go?語(yǔ)言中的特殊之處吧2024-03-03golang實(shí)現(xiàn)unicode轉(zhuǎn)換為字符串string的方法
這篇文章主要介紹了golang實(shí)現(xiàn)unicode轉(zhuǎn)換為字符串string的方法,實(shí)例分析了Go語(yǔ)言編碼轉(zhuǎn)換的相關(guān)技巧,具有一定參考借鑒價(jià)值,需要的朋友可以參考下2016-07-07Go語(yǔ)言調(diào)用其它程序并獲得程序輸出的方法
這篇文章主要介紹了Go語(yǔ)言調(diào)用其它程序并獲得程序輸出的方法,實(shí)例分析了Go調(diào)用cmd程序的技巧,具有一定參考借鑒價(jià)值,需要的朋友可以參考下2015-02-02Go語(yǔ)言共享內(nèi)存讀寫(xiě)實(shí)例分析
這篇文章主要介紹了Go語(yǔ)言共享內(nèi)存讀寫(xiě)方法,實(shí)例分析了共享內(nèi)存的原理與讀寫(xiě)技巧,具有一定參考借鑒價(jià)值,需要的朋友可以參考下2015-02-02利用systemd部署golang項(xiàng)目的實(shí)現(xiàn)方法
這篇文章主要介紹了利用systemd部署golang項(xiàng)目的實(shí)現(xiàn)方法,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-11-11