欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

解決golang內(nèi)存溢出的方法

 更新時間:2019年08月01日 10:46:38   作者:liaoyizhe  
這篇文章主要介紹了解決golang內(nèi)存溢出的方法,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧

最近在項目中出現(xiàn)golang內(nèi)存溢出的問題,master剛開始運行時只有10多M,運行幾天后,竟然達到了10多個G。而且到凌晨流量變少內(nèi)存也沒有明顯降低,內(nèi)存狀態(tài)呈現(xiàn)一種很不健康的曲線。

像這種情況肯定是golang內(nèi)存溢出了,為此我持續(xù)排查了兩天,終于找到問題所在,特此記錄下。

準(zhǔn)備工作

  • 一臺較好的環(huán)境測試機,單臺運行無污染。
  • 壓測工具,無論服務(wù)是http還是websocket服務(wù),都必須準(zhǔn)備好壓測工具模擬最真實的用戶場景。
  • 將master引入net/http/pprof包,通過http訪問獲得goroutine、heap信息。
//引入pprof
import _"net/http/pprof"
//在main中加入
go func() {
  log.Println(http.ListenAndServe("localhost:9999", nil))
}()

瀏覽器訪問: http://127.0.0.1:9999/debug/pprof/


獲取goroutine信息 http://10.13.132.91:9999/debug/pprof/goroutine?debug=2

獲取heap信息 http://10.13.132.91:9999/debug/pprof/heap?debug=2

使用golang tool進行統(tǒng)計分析,go tool pprof -inuse_space http://127.0.0.1:9999/debug/pprof/heap。輸入top10可以看出前十占用內(nèi)存情況,這里我是直接輸入png導(dǎo)出圖片來查看,以便以后比較。還有兩個參數(shù)可以選擇,-inuse_space顧名思義是正在使用的內(nèi)存,-alloc_space是已經(jīng)分配的內(nèi)存,本次我是一直用-inuse_space進行分析。

開始進行分析

go是一門自己gc的語言,大概兩分鐘會gc一次。如果有內(nèi)存泄漏,無非就是兩種情況。

  1. 有g(shù)oroutine泄漏,goroutine“飛”了,zombie goroutine沒有結(jié)束,這個時候在這個goroutine上分配的內(nèi)存對象將一直被這個僵尸goroutine引用著,進而導(dǎo)致gc無法回收這類對象,內(nèi)存泄漏。
  2. 有一些全局(或者生命周期和程序本身運行周期一樣長的)的數(shù)據(jù)結(jié)構(gòu)意外的掛住了本該釋放的對象,雖然goroutine已經(jīng)退出了,但是這些對象并沒有從這類數(shù)據(jù)結(jié)構(gòu)中刪除,導(dǎo)致對象一直被引用,無法被回收。

排除掉goroutine泄漏

首先,我利用壓測工具對server進行100個websocket連接,模擬用戶瀏覽行為,然后關(guān)閉連接。打開瀏覽器查看goroutine數(shù)量,發(fā)現(xiàn)新起的goroutine全部已經(jīng)銷毀,沒有觀察到有泄漏的goroutine,因此排除此情況。

確定是全局變量無回收

排除goroutine泄漏,只能是由全局狀態(tài)變量引起的。再次用壓測工具進行壓測然后關(guān)閉,使用觀察內(nèi)存情況。使用go tool pprof -inuse_space http://127.0.0.1:9999/debug/pprof/heap輸入png導(dǎo)出(在這種情況下,需要等程序gc完再導(dǎo)出,建議等10分鐘左右。)


發(fā)現(xiàn)問題所在

每次都會遺留這么大概0.5M的內(nèi)存空間出來,就奇怪,明明整個goroutine退出為什么還有會內(nèi)存占用?相應(yīng)的全局變量也會刪除該地方的引用。等一下,全局變量,難道是刪除的時候沒做好配對導(dǎo)致沒有真正刪除該引用嗎?去查了下代碼,果然是沒有刪除引用導(dǎo)致的,至此問題解決。


這里面有個項目的坑,上報日志的key不是根據(jù)這個len(map)計算出,導(dǎo)致上報日志的時候以為刪除了該key。

后記

為什么會花了兩天時間,看起來上述流程并不復(fù)雜。

實際上你要完全排除掉goroutine泄漏需要花較長的時間去對比的,查看哪些goroutine是新起來沒有關(guān)閉。

在使用-inuse_space或者-alloc_space分析,也是很糾結(jié),這些看起來也并不完全與表現(xiàn)對應(yīng)上。實際上用-inuse_space是較為直觀的,可以展現(xiàn)出程序真正在使用的(RSS)。Go 管理內(nèi)存的方式可能與你以前使用的方式不太一樣。它會在一開始就保留一大塊 VIRT,而 RSS 與實際內(nèi)存用量接近。RSS 和 VIRT 之間有什么區(qū)別呢?VIRT 或者虛擬地址空間大小是程序映射并可以訪問的內(nèi)存數(shù)量。RSS 或者常駐大小是實際使用的內(nèi)存數(shù)量。因此用-inuse_space導(dǎo)出在png圖上的統(tǒng)計中,與top上的res值是大致相同。

還有就是每次做壓測或者等待golang 完全gc都要耗費不少時間,這樣也會排查增加難度。

以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。

相關(guān)文章

  • Golang map與sync.map的異同詳解

    Golang map與sync.map的異同詳解

    在Go語言中,map和sync.Map都是用于存儲鍵值對的數(shù)據(jù)結(jié)構(gòu),但它們在并發(fā)安全性、性能和使用場景上存在顯著差異,接下來將深入探討這兩種數(shù)據(jù)結(jié)構(gòu)的異同,感興趣的朋友可以參考下
    2024-01-01
  • Golang實現(xiàn)CronJob(定時任務(wù))的方法詳解

    Golang實現(xiàn)CronJob(定時任務(wù))的方法詳解

    這篇文章主要為大家詳細(xì)介紹了Golang如何通過一個單 pod 去實現(xiàn)一個常駐服務(wù),去跑定時任務(wù)(CronJob),文中的示例代碼講解詳細(xì),需要的可以參考下
    2023-04-04
  • Go語言構(gòu)建流數(shù)據(jù)pipeline的示例詳解

    Go語言構(gòu)建流數(shù)據(jù)pipeline的示例詳解

    Go的并發(fā)原語可以輕松構(gòu)建流數(shù)據(jù)管道,從而高效利用?I/O?和多個?CPU,?本文展示了此類pipelines的示例,強調(diào)了操作失敗時出現(xiàn)的細(xì)微之處,并介紹了干凈地處理失敗的技術(shù),希望對大家有所幫助
    2024-02-02
  • golang 將[]byte轉(zhuǎn)成16進制的實現(xiàn)

    golang 將[]byte轉(zhuǎn)成16進制的實現(xiàn)

    這篇文章主要介紹了golang 將[]byte轉(zhuǎn)成16進制的實現(xiàn),具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-12-12
  • golang求連續(xù)子數(shù)組的最大和實例

    golang求連續(xù)子數(shù)組的最大和實例

    這篇文章主要介紹了golang求連續(xù)子數(shù)組的最大和實例,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-12-12
  • 一文詳解在Go中如何使用Viper來管理配置

    一文詳解在Go中如何使用Viper來管理配置

    Viper 是一個功能齊全的 Go 應(yīng)用程序配置庫,支持很多場景。在本文中,我們將深入探討 Viper 的各種用法和使用場景,以幫助讀者更好地了解和使用 Viper 來管理應(yīng)用程序配置,感興趣的同學(xué)可以參考閱讀
    2023-05-05
  • 手把手教你如何在Goland中創(chuàng)建和運行項目

    手把手教你如何在Goland中創(chuàng)建和運行項目

    歡迎來到本指南!我們將手把手地教您在Goland中如何創(chuàng)建、配置并運行項目,通過簡單的步驟,您將迅速上手這款強大的集成開發(fā)環(huán)境(IDE),輕松實現(xiàn)您的編程夢想,讓我們一起開啟這段精彩的旅程吧!
    2024-02-02
  • go語言使用io和bufio包進行流操作示例詳解

    go語言使用io和bufio包進行流操作示例詳解

    這篇文章主要為大家介紹了go語言使用io和bufio包進行流操作示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪
    2023-08-08
  • Go?并發(fā)編程協(xié)程及調(diào)度機制詳情

    Go?并發(fā)編程協(xié)程及調(diào)度機制詳情

    這篇文章主要介紹了Go并發(fā)編程協(xié)程及調(diào)度機制詳情,協(xié)程是Go語言最大的特色之一,goroutine的實現(xiàn)其實是通過協(xié)程,更多相關(guān)內(nèi)容需要的朋友可以參考一下
    2022-09-09
  • golang如何使用sarama訪問kafka

    golang如何使用sarama訪問kafka

    這篇文章主要介紹了golang如何使用sarama訪問kafka,小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2018-12-12

最新評論