故障：收到服務(wù)器報(bào)警，內(nèi)存使用率超過80%

1.查看

使用dstat和top查看內(nèi)存使用最高的應(yīng)用

使用dstat

查到內(nèi)存占用最高的是java應(yīng)用，使用2253M內(nèi)存，但是這臺服務(wù)器跑了好幾個(gè)java，具體哪個(gè)進(jìn)程使用top看下資源情況

使用top

可以看到j(luò)ava應(yīng)用整體內(nèi)存使用率超過了70%，其中pid為16494的進(jìn)程 一個(gè)應(yīng)用占了28.7的內(nèi)存

2.定位線程問題

使用ps查看16494的線程情況

命令：ps p 16494 -L -o pcpu,pmem,pid,tid,time,tname,cmd

看到16494這個(gè)pid的應(yīng)用產(chǎn)生了很多線程。

3.查看內(nèi)存使用的堆棧

使用jstack查看

我們挑選了TID=17417的線程進(jìn)行分析

在分析前需要將17417這個(gè)id轉(zhuǎn)換為16進(jìn)制，方便查找信息

[root@localhost ~]# printf "%x\n" 17417
4409

16進(jìn)制為4409

將pid為16494的應(yīng)用打印到日志中

[root@localhost ~]# jstack -l 16494 > jstack.log

4.查看內(nèi)存堆棧信息

[root@localhost ~]# vim jstack.log

在日志信息中查找剛剛轉(zhuǎn)換的4409

可以看到這個(gè)線程狀態(tài)為WAITING

通過查看日志發(fā)現(xiàn)有大量的 waiting on condition

parking to wait for <0x0000000085dce510>

存在大量線程等待被喚醒，占用大量內(nèi)存

5.代碼優(yōu)化

將相應(yīng)日志發(fā)送給相應(yīng)開發(fā)，優(yōu)化線程

補(bǔ)充：分析java線程占用cpu或者內(nèi)存高的代碼

1、通過top查看占用cpu或者內(nèi)存高的進(jìn)程截圖如下【備注輸入大寫P以cpu從大到小排序，大寫M以內(nèi)存大小排序】

2、通過對應(yīng)的cpu找到PID也就是進(jìn)程對應(yīng)的pid，然后找到j(luò)ava進(jìn)程106854這個(gè)進(jìn)程id

3、通過命令top -Hp PID 例如top -Hp 106854

就可以列出該進(jìn)程下的所有線程id

4、通過輸出大寫的P查看線程占用cpu最高的或者通過大寫M查看內(nèi)存占用最高的

然后找到109391這個(gè)線程id

5、使用命令printf “%x\n” 109391 輸出對應(yīng)的十六進(jìn)制碼，1ab4f這個(gè)碼是為了過濾線程id查到對應(yīng)的代碼

6、使用命令jstack PID|grep 1ab4f 【備注PID是進(jìn)程的id，1ab4f是這個(gè)進(jìn)程下的一個(gè)線程占用最高的cpu十六進(jìn)制碼】

7、通過上面的輸出發(fā)現(xiàn)kafka，所以會聯(lián)想到，kafka一直監(jiān)聽消息，所以消耗cpu，正?，F(xiàn)象

8、如果出現(xiàn)自己寫的類，說明需要修改代碼邏輯了

以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教。

最新評論