快捷導(dǎo)航

記一次tomcat進程cpu占用過高的問題排查記錄

更新時間：2020年02月24日 15:09:02 作者：yiduyangyi

這篇文章主要介紹了記一次tomcat進程cpu占用過高的問題排查記錄，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧

本文主要記錄一次tomcat進程，因TCP連接過多導(dǎo)致CPU占用過高的問題排查記錄。

問題描述

linux系統(tǒng)下，一個tomcat web服務(wù)的cpu占用率非常高，top顯示結(jié)果超過200%。請求無法響應(yīng)。反復(fù)重啟依然同一個現(xiàn)象。

問題排查

1、獲取進程信息

通過jdk提供的jps命令可以快速查出jvm進程，

jps pid

2、查看jstack信息

jstack pid

發(fā)現(xiàn)存在大量log4j線程block，處于waiting lock狀態(tài)

org.apache.log4j.Category.callAppenders(org.apache.log4j.spi.LoggingEvent) @bci=12, line=201 (Compiled frame)

搜索相關(guān)信息，發(fā)現(xiàn)log4j 1.x版本存在死鎖問題。

發(fā)現(xiàn)問題，于是調(diào)整log4j配置，僅打開error級別日志，重啟tomcat。此時stack中block線程消失，但進程cpu占用率依然高漲。

3、進一步排查

分析每個線程的cpu占用量，此處需要引入一個大神貢獻的腳本，計算java進程中，每個線程的cpu使用量。

#!/bin/bash

typeset top=${1:-10}
typeset pid=${2:-$(pgrep -u $USER java)}
typeset tmp_file=/tmp/java_${pid}_$$.trace

$JAVA_HOME/bin/jstack $pid > $tmp_file
ps H -eo user,pid,ppid,tid,time,%cpu --sort=%cpu --no-headers\
    | tail -$top\
    | awk -v "pid=$pid" '$2==pid{print $4"\t"$6}'\
    | while read line;
do
    typeset nid=$(echo "$line"|awk '{printf("0x%x",$1)}')
    typeset cpu=$(echo "$line"|awk '{print $2}')
    awk -v "cpu=$cpu" '/nid='"$nid"'/,/^$/{print $0"\t"(isF++?"":"cpu="cpu"%");}' $tmp_file
done

rm -f $tmp_file

腳本適用范圍

因為ps中的%CPU數(shù)據(jù)統(tǒng)計來自于/proc/stat，這個份數(shù)據(jù)并非實時的，而是取決于OS對其更新的頻率，一般為1S。所以你看到的數(shù)據(jù)統(tǒng)計會和jstack出來的信息不一致也就是這個原因～但這份信息對持續(xù)LOAD由少數(shù)幾個線程導(dǎo)致的問題排查還是非常給力的，因為這些固定少數(shù)幾個線程會持續(xù)消耗CPU的資源，即使存在時間差，反正也都是這幾個線程所導(dǎo)致。

除了這個腳本，簡單點兒的方法則是，查出進程id后，通過如下命令查看該進程中每個線程的資源使用情況