快捷導(dǎo)航

記一次springboot服務(wù)凌晨無(wú)故宕機(jī)問(wèn)題的解決

更新時(shí)間：2020年09月17日 09:50:16 作者：蠟筆小興灬

這篇文章主要介紹了記一次springboot服務(wù)凌晨無(wú)故宕機(jī)問(wèn)題的解決，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧

表述

在一次服務(wù)更新后發(fā)現(xiàn)每天凌晨0點(diǎn)3秒服務(wù)準(zhǔn)時(shí)掛，開始的時(shí)候認(rèn)為是maven依賴中存在system.exit(3)類似這樣的代碼，但是我想了下這個(gè)代碼很多客戶都有用到但是只有這一個(gè)客戶出現(xiàn)了問(wèn)題，而且另外一個(gè)服務(wù)沒(méi)有更新在此前幾個(gè)月都是沒(méi)問(wèn)題的這幾天也是一樣無(wú)故掛了。

環(huán)境

windows服務(wù)器

排查

1、初步懷疑是內(nèi)存泄漏問(wèn)題，在啟動(dòng)腳本中加入 -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=D:\heapdump.log，第二天起來(lái)一看還是掛了沒(méi)有出現(xiàn)dump日志說(shuō)明不是內(nèi)存泄漏

2、白天幾千幾萬(wàn)的請(qǐng)求量都沒(méi)有掛，凌晨時(shí)候星星兩兩的請(qǐng)求量甚至沒(méi)有請(qǐng)求卻掛了

3、服務(wù)準(zhǔn)時(shí)0點(diǎn)3秒掛，后續(xù)我寫了個(gè)腳本加入執(zhí)行計(jì)劃每日凌晨1點(diǎn)檢查服務(wù)并啟動(dòng)，發(fā)現(xiàn)有寫腳本的服務(wù)還是0點(diǎn)3秒掛而另外一個(gè)服務(wù)變成1點(diǎn)10幾分左右掛了

4、有懷疑可能是logback的問(wèn)題，日志生成規(guī)則是按日期備份的，可是每個(gè)客戶都是這樣的配置就這個(gè)客戶有問(wèn)題所以暫時(shí)排除這個(gè)可能了

臨時(shí)解決

1、暫時(shí)給幾個(gè)服務(wù)的啟動(dòng)腳本加入到執(zhí)行計(jì)劃中每日凌晨檢查并啟動(dòng)，沒(méi)有找到好的解決方案也不知道是什么問(wèn)題，希望知道的大佬告知一下感激不盡。

附上執(zhí)行計(jì)劃?rùn)z查腳本

@echo off
echo 正在檢測(cè)啟動(dòng)服務(wù)…請(qǐng)不要關(guān)閉該窗口
D:
cd “D:\寫上服務(wù)的目錄”
:ks
set num=0
for /f %%i in (‘netstat -ano^| find “:服務(wù)的端口”') do set /a num=%num%+1
echo %num%
if %num% == 0 (
echo “開始啟動(dòng)服務(wù)”
call D:\aaa.bat
) else (
echo “無(wú)需啟動(dòng)服務(wù)”
)

其中D:\aaa.bat 是服務(wù)的啟動(dòng)腳本這里也可以直接寫上java -jar springboot服務(wù).jar類似這樣的代碼

最終解決

經(jīng)昨晚12點(diǎn)時(shí)候錄屏服務(wù)器后看后終于找到了問(wèn)題所在，控制臺(tái)沒(méi)有絲毫的報(bào)錯(cuò)信息直接程序崩潰，這就是windows服務(wù)器的不足之處，如果此時(shí)服務(wù)器是Linux的話會(huì)在項(xiàng)目目錄底下記錄崩潰的Jvm日志。思考之后發(fā)現(xiàn)果真竟然是logback的鍋，找到原因：

1、因?yàn)閘ogback配置中沒(méi)有加入maxFileSize的配置，導(dǎo)致日志文件大小有幾個(gè)G

2、服務(wù)器本身性能配置一般

3、logback采用的是zip壓縮按日備份的

4、壓縮文件是很耗CPU的，文件越大CPU占用越多，如果文件很大就會(huì)導(dǎo)致壓縮到一半程序崩潰，這里就是出現(xiàn)了這種情況導(dǎo)致壓縮到一半沒(méi)成功，tmp臨時(shí)文件也沒(méi)有被刪除

5、沒(méi)有出現(xiàn)該問(wèn)題的幾個(gè)客戶是因?yàn)槿罩疚募紱](méi)有達(dá)到這種級(jí)別的量，其次其他幾個(gè)客戶的服務(wù)器性能都是很OK的

解決方法就是在加入maxFileSize配置建議值是128M。值越大對(duì)服務(wù)器的性能要求就越高，我這邊因?yàn)榉?wù)器性能一般保險(xiǎn)起見設(shè)置128M

補(bǔ)充知識(shí)：Springboot啟動(dòng)即掛掉問(wèn)題