引言

在線上Java應(yīng)用的運(yùn)維工作中，日志管理是至關(guān)重要的一環(huán)。日志不僅能幫助我們排查故障、分析性能問(wèn)題，還能為業(yè)務(wù)優(yōu)化提供數(shù)據(jù)支持。然而，線上Java日志常常會(huì)遇到各種難題，如日志文件過(guò)大、需要實(shí)時(shí)監(jiān)控、按條件過(guò)濾等。本文將針對(duì)這些常見(jiàn)難題，介紹7個(gè)實(shí)用的Linux命令，幫助你輕松搞定線上Java日志管理。

一、解決日志文件過(guò)大問(wèn)題

線上Java應(yīng)用經(jīng)過(guò)長(zhǎng)時(shí)間運(yùn)行后，日志文件可能會(huì)變得非常龐大，動(dòng)輒幾GB甚至幾十GB。這不僅會(huì)占用大量的存儲(chǔ)空間，還會(huì)給日志的傳輸、備份和分析帶來(lái)極大的不便。此時(shí)，我們可以借助split命令來(lái)解決這一問(wèn)題。

split命令能夠?qū)⒁粋€(gè)大文件按照指定的大小或行數(shù)分割成多個(gè)小文件，而且在分割過(guò)程中不會(huì)影響原日志文件的寫(xiě)入，保證日志記錄不中斷。

其基本語(yǔ)法為：split [選項(xiàng)] 要分割的文件 分割后文件的前綴

常用選項(xiàng)：

• -b：指定分割后每個(gè)文件的大小，單位可以是字節(jié)（默認(rèn)）、KB（k）、MB（m）、GB（g）等。
• -l：指定分割后每個(gè)文件的行數(shù)。

實(shí)例1：按大小分割日志文件

如果我們有一個(gè)名為app.log的Java日志文件，大小為500MB，我們想將其按100MB大小進(jìn)行分割，可執(zhí)行以下命令：

split -b 100M app.log app_split_

上述命令中，-b 100M表示按100MB大小分割；app.log是要分割的日志文件；app_split_是分割后文件的前綴。

執(zhí)行該命令后，會(huì)生成一系列以app_split_開(kāi)頭的文件，分別為app_split_aa、app_split_ab、app_split_ac、app_split_ad、app_split_ae，每個(gè)文件的大小不超過(guò)100MB（最后一個(gè)文件可能小于100MB）。

實(shí)例2：按行數(shù)分割日志文件

若我們希望按行數(shù)分割，比如每個(gè)文件包含1000行日志，命令如下：

split -l 1000 app.log app_line_split_

這里-l 1000表示每個(gè)分割后的文件包含1000行日志，分割后生成app_line_split_aa、app_line_split_ab等文件。

通過(guò)split命令分割后的小文件，更便于我們進(jìn)行存儲(chǔ)、傳輸和分析。比如，我們可以只傳輸或分析其中某個(gè)時(shí)間段的日志片段，大大提高工作效率。同時(shí)，在進(jìn)行日志備份時(shí)，也可以針對(duì)分割后的小文件進(jìn)行操作，避免因單個(gè)大文件備份失敗而導(dǎo)致全部日志備份失敗的情況。

二、實(shí)時(shí)監(jiān)控日志輸出

在Java應(yīng)用運(yùn)行過(guò)程中，我們常常需要實(shí)時(shí)監(jiān)控日志輸出，以便及時(shí)發(fā)現(xiàn)應(yīng)用運(yùn)行中的錯(cuò)誤、警告等信息。tail命令的-f參數(shù)能夠?qū)崟r(shí)跟蹤文件內(nèi)容的變化，非常適合用于實(shí)時(shí)監(jiān)控日志輸出。

tail命令的基本語(yǔ)法為：tail [選項(xiàng)] 文件名

常用選項(xiàng)：

• -f：實(shí)時(shí)跟蹤文件內(nèi)容的更新，當(dāng)文件有新內(nèi)容寫(xiě)入時(shí)，會(huì)立即顯示在終端上。
• -n：指定顯示文件末尾的行數(shù)，默認(rèn)顯示最后10行。

實(shí)例1：實(shí)時(shí)監(jiān)控日志文件

要實(shí)時(shí)監(jiān)控app.log日志文件的輸出，執(zhí)行以下命令：

tail -f app.log

執(zhí)行該命令后，終端會(huì)顯示app.log文件末尾的內(nèi)容，并且會(huì)一直處于監(jiān)聽(tīng)狀態(tài)。當(dāng)應(yīng)用有新的日志信息寫(xiě)入app.log時(shí)，這些新信息會(huì)立即顯示在終端上，讓我們能夠?qū)崟r(shí)了解應(yīng)用的運(yùn)行狀態(tài)。

實(shí)例2：實(shí)時(shí)監(jiān)控并只顯示錯(cuò)誤信息

在實(shí)際應(yīng)用中，我們可能更關(guān)注日志中的錯(cuò)誤信息。此時(shí)，可以結(jié)合grep命令進(jìn)行過(guò)濾，只顯示包含“ERROR”的日志行，命令如下：

tail -f app.log | grep "ERROR"

其中，grep "ERROR"用于從tail命令的輸出中過(guò)濾出包含“ERROR”的行。這樣，終端只會(huì)實(shí)時(shí)顯示app.log中新增的錯(cuò)誤信息，方便我們及時(shí)發(fā)現(xiàn)和處理應(yīng)用中的錯(cuò)誤。

實(shí)例3：先顯示近期日志再實(shí)時(shí)監(jiān)控

如果我們想先查看日志文件末尾的100行內(nèi)容，了解近期的應(yīng)用運(yùn)行情況，然后再進(jìn)行實(shí)時(shí)監(jiān)控，可以使用-n參數(shù)，命令如下：

tail -n 100 -f app.log

該命令會(huì)先顯示app.log文件末尾的100行日志，然后進(jìn)入實(shí)時(shí)監(jiān)控狀態(tài)，當(dāng)有新的日志寫(xiě)入時(shí)，繼續(xù)實(shí)時(shí)顯示。

通過(guò)tail命令的實(shí)時(shí)監(jiān)控功能，我們能夠及時(shí)掌握應(yīng)用的運(yùn)行動(dòng)態(tài)，快速響應(yīng)和處理各種異常情況，保障應(yīng)用的穩(wěn)定運(yùn)行。

三、按條件過(guò)濾日志

在分析Java日志時(shí)，我們往往需要根據(jù)特定的條件過(guò)濾出有用的信息，比如根據(jù)關(guān)鍵詞、時(shí)間戳、錯(cuò)誤類(lèi)型等。grep命令是一個(gè)強(qiáng)大的文本搜索工具，能夠滿足我們按條件過(guò)濾日志的需求。

grep命令的基本語(yǔ)法為：grep [選項(xiàng)] 模式 文件名

常用選項(xiàng)：

• -i：忽略模式中的大小寫(xiě)，進(jìn)行不區(qū)分大小寫(xiě)的匹配。
• -v：顯示不包含匹配模式的行。
• -E：支持?jǐn)U展的正則表達(dá)式。
• -o：只顯示匹配模式的部分。
• -r：遞歸搜索目錄下的所有文件。

實(shí)例1：過(guò)濾包含特定用戶(hù)ID的日志

假設(shè)我們要從app.log中過(guò)濾出包含用戶(hù)ID為“123456”的日志行，命令如下：

grep "123456" app.log

該命令會(huì)在app.log中搜索所有包含“123456”的行，并將這些行顯示在終端上。

實(shí)例2：過(guò)濾不包含“INFO”的日志行

如果我們想排除日志中的信息級(jí)別的日志，只查看其他級(jí)別的日志（如警告、錯(cuò)誤等），可以使用-v選項(xiàng)，命令如下：

grep -v "INFO" app.log

此命令會(huì)顯示app.log中所有不包含“INFO”的日志行。

實(shí)例3：過(guò)濾符合正則表達(dá)式的日志

若要過(guò)濾出日志中符合特定正則表達(dá)式的內(nèi)容，比如匹配郵箱地址的日志行，可以使用-E選項(xiàng)，命令如下：

grep -E "[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Za-z]{2,}" app.log

該命令會(huì)從app.log中過(guò)濾出所有包含郵箱地址格式的日志行。

實(shí)例4：在多個(gè)日志文件中過(guò)濾

如果我們要在多個(gè)日志文件中過(guò)濾包含“Exception”的日志行，可以指定多個(gè)文件名，命令如下：

grep "Exception" app.log app_error.log

此命令會(huì)在app.log和app_error.log兩個(gè)文件中搜索包含“Exception”的行，并將結(jié)果顯示出來(lái)。

通過(guò)grep命令的靈活使用，我們可以快速?gòu)暮Ａ康娜罩拘畔⒅羞^(guò)濾出符合條件的內(nèi)容，大大提高日志分析的效率，幫助我們更快地定位問(wèn)題。

四、統(tǒng)計(jì)日志事件頻率

統(tǒng)計(jì)日志中各類(lèi)事件的發(fā)生頻率，能夠幫助我們了解應(yīng)用的運(yùn)行狀況，比如某個(gè)錯(cuò)誤出現(xiàn)的次數(shù)、某個(gè)接口被調(diào)用的頻率等。awk命令是一個(gè)強(qiáng)大的文本處理工具，非常適合用于日志事件頻率的統(tǒng)計(jì)。

awk命令的基本語(yǔ)法為：awk '腳本' 文件名

awk腳本的基本結(jié)構(gòu)為：模式 {動(dòng)作}，其中模式用于指定要處理的行，動(dòng)作用于指定對(duì)匹配行執(zhí)行的操作。

實(shí)例1：統(tǒng)計(jì)不同錯(cuò)誤類(lèi)型的出現(xiàn)次數(shù)

假設(shè)app.log中記錄了各種錯(cuò)誤類(lèi)型，如“NullPointerException”、“IndexOutOfBoundsException”等，我們要統(tǒng)計(jì)每種錯(cuò)誤類(lèi)型出現(xiàn)的次數(shù)，可執(zhí)行以下命令：

awk '/Exception/ {count[$0]++} END {for (error in count) print error, count[error]}' app.log

腳本解釋?zhuān)?/p>

• /Exception/：模式，表示只處理包含“Exception”的行。
• {count[$0]++}：動(dòng)作，定義一個(gè)關(guān)聯(lián)數(shù)組count，以整行內(nèi)容（$0表示整行）為鍵，每遇到一行包含“Exception”的行，就將對(duì)應(yīng)鍵的值加1。
• END {for (error in count) print error, count[error]}：END模式表示在處理完所有文件內(nèi)容后執(zhí)行后面的動(dòng)作，這里通過(guò)循環(huán)遍歷關(guān)聯(lián)數(shù)組count，打印出每種錯(cuò)誤類(lèi)型及其出現(xiàn)的次數(shù)。

實(shí)例2：統(tǒng)計(jì)某個(gè)接口被調(diào)用的次數(shù)

如果日志中記錄了接口調(diào)用信息，格式為“[時(shí)間] 接口名: /api/user/get”，我們要統(tǒng)計(jì)/api/user/get接口被調(diào)用的次數(shù)，命令如下：

awk '/\/api\/user\/get/ {count++} END {print "調(diào)用次數(shù):", count}' app.log

腳本解釋?zhuān)?/p>

• /\/api\/user\/get/：模式，由于“/”在正則表達(dá)式中有特殊意義，所以需要用“\”轉(zhuǎn)義，該模式表示只處理包含“/api/user/get”的行。
• {count++}：動(dòng)作，定義一個(gè)變量count，每遇到一行匹配的行，就將count的值加1。
• END {print "調(diào)用次數(shù):", count}：處理完所有內(nèi)容后，打印出/api/user/get接口的調(diào)用次數(shù)。

實(shí)例3：按小時(shí)統(tǒng)計(jì)日志中錯(cuò)誤的發(fā)生次數(shù)

若日志中的時(shí)間格式為“2025-07-14 10:30:22”，我們要按小時(shí)統(tǒng)計(jì)錯(cuò)誤（包含“ERROR”）的發(fā)生次數(shù)，命令如下：

awk '/ERROR/ {hour = substr($1, 1, 13)" "substr($2, 1, 2); count[hour]++} END {for (h in count) print h, count[h]}' app.log | sort

腳本解釋?zhuān)?/p>

• /ERROR/：模式，只處理包含“ERROR”的行。
• {hour = substr($1, 1, 13)" "substr($2, 1, 2); count[hour]++}：動(dòng)作，substr函數(shù)用于截取字符串，substr($1, 1, 13)截取日期部分的前13個(gè)字符（即“2025-07-14”），substr($2, 1, 2)截取時(shí)間部分的前2個(gè)字符（即小時(shí)），將它們拼接成“2025-07-14 10”這樣的小時(shí)格式，作為關(guān)聯(lián)數(shù)組count的鍵，每遇到一行匹配的行，就將對(duì)應(yīng)鍵的值加1。
• END {for (h in count) print h, count[h]}' app.log | sort：處理完所有內(nèi)容后，打印出每個(gè)小時(shí)及其對(duì)應(yīng)的錯(cuò)誤發(fā)生次數(shù)，并通過(guò)sort命令進(jìn)行排序，使結(jié)果按時(shí)間順序顯示。

通過(guò)awk命令的統(tǒng)計(jì)功能，我們可以從日志中提取出有價(jià)值的統(tǒng)計(jì)信息，為應(yīng)用的性能優(yōu)化、故障排查和業(yè)務(wù)分析提供有力的數(shù)據(jù)支持。

五、追蹤日志上下文

在分析日志中的錯(cuò)誤或異常時(shí)，僅僅查看錯(cuò)誤所在的行往往不夠，我們還需要了解該錯(cuò)誤發(fā)生前后的日志信息，即日志的上下文。grep命令的-C、-A、-B參數(shù)可以幫助我們實(shí)現(xiàn)這一需求。

• -C n：顯示匹配行及其前后各n行的內(nèi)容。
• -A n：顯示匹配行及其后n行的內(nèi)容。
• -B n：顯示匹配行及其前n行的內(nèi)容。

實(shí)例1：查看包含“Exception”的行及其前后5行

要查看app.log中包含“Exception”的行及其前后5行的內(nèi)容，執(zhí)行以下命令：

grep -C 5 "Exception" app.log

執(zhí)行該命令后，終端會(huì)顯示所有包含“Exception”的行，以及每個(gè)匹配行前面5行和后面5行的日志內(nèi)容，幫助我們?nèi)媪私忮e(cuò)誤發(fā)生的上下文環(huán)境。

實(shí)例2：查看包含“ERROR”的行及其后10行

如果我們想了解某個(gè)錯(cuò)誤發(fā)生后的后續(xù)日志情況，查看包含“ERROR”的行及其后10行的內(nèi)容，命令如下：

grep -A 10 "ERROR" app.log

此命令會(huì)顯示包含“ERROR”的行，以及每個(gè)匹配行后面10行的日志內(nèi)容，便于我們追蹤錯(cuò)誤發(fā)生后的應(yīng)用行為。

實(shí)例3：查看包含“Warning”的行及其前8行

若要了解某個(gè)警告發(fā)生前的日志信息，查看包含“Warning”的行及其前8行的內(nèi)容，命令如下：

grep -B 8 "Warning" app.log

該命令會(huì)顯示包含“Warning”的行，以及每個(gè)匹配行前面8行的日志內(nèi)容，幫助我們分析警告發(fā)生的原因。

通過(guò)追蹤日志上下文，我們能夠更全面地了解錯(cuò)誤或異常發(fā)生的背景和過(guò)程，從而更快速、準(zhǔn)確地定位問(wèn)題的根源。

六、恢復(fù)誤刪日志

在操作過(guò)程中，誤刪日志文件是一件很棘手的事情，但如果刪除后應(yīng)用進(jìn)程還在繼續(xù)運(yùn)行（即文件描述符未被釋放），我們可以借助lsof命令來(lái)恢復(fù)誤刪的日志文件。

lsof命令用于列出當(dāng)前系統(tǒng)中打開(kāi)的文件，其基本語(yǔ)法為：lsof [選項(xiàng)]

常用選項(xiàng)：

• -p：指定進(jìn)程ID，只顯示該進(jìn)程打開(kāi)的文件。
• -c：指定進(jìn)程名，只顯示該進(jìn)程打開(kāi)的文件。

實(shí)例：恢復(fù)誤刪的app.log日志文件

• 首先，確定正在寫(xiě)入app.log日志文件的Java進(jìn)程ID?？梢允褂胘ps命令查看Java進(jìn)程，或者使用ps -ef | grep java命令，假設(shè)進(jìn)程ID為12345。
• 執(zhí)行lsof -p 12345命令，查看該進(jìn)程打開(kāi)的文件，在輸出結(jié)果中找到被刪除的app.log文件，其狀態(tài)會(huì)顯示為“deleted”，同時(shí)會(huì)有一個(gè)文件描述符（如fd 3）。
• 執(zhí)行以下命令恢復(fù)文件：

cp /proc/12345/fd/3 app.log

其中，/proc/12345/fd/3是被刪除文件的文件描述符路徑，通過(guò)將其復(fù)制到原文件名app.log，即可恢復(fù)誤刪的日志文件。

需要注意的是，這種恢復(fù)方法僅適用于文件被刪除后，進(jìn)程仍然在運(yùn)行且未釋放文件描述符的情況。如果進(jìn)程已經(jīng)停止或文件描述符已被釋放，那么通過(guò)lsof命令可能無(wú)法恢復(fù)誤刪的日志文件。因此，在日常操作中，我們要謹(jǐn)慎刪除日志文件，最好先進(jìn)行備份。

七、日志脫敏處理

日志中可能包含大量的敏感信息，如用戶(hù)手機(jī)號(hào)、身份證號(hào)、銀行卡號(hào)等。為了保護(hù)用戶(hù)隱私和數(shù)據(jù)安全，我們需要對(duì)這些敏感信息進(jìn)行脫敏處理。sed命令是一個(gè)強(qiáng)大的文本替換工具，可以用于日志的脫敏處理。

sed命令的基本語(yǔ)法為：sed [選項(xiàng)] '腳本' 文件名

常用選項(xiàng)：

• -i：直接修改文件內(nèi)容，而不是輸出到終端。
• -e：指定要執(zhí)行的腳本。

實(shí)例1：對(duì)手機(jī)號(hào)進(jìn)行脫敏

如果日志中包含手機(jī)號(hào)（格式為11位數(shù)字），我們將其替換為“***”，命令如下：

sed -i 's/1[3-9][0-9]\{9\}/*** /g' app.log

腳本解釋?zhuān)?/p>

• s/原內(nèi)容/替換內(nèi)容/g：sed的替換命令，s表示替換，g表示全局替換，即一行中所有匹配的內(nèi)容都會(huì)被替換。
• 1[3-9][0-9]\{9\}：正則表達(dá)式，匹配11位手機(jī)號(hào)，其中“1”表示手機(jī)號(hào)開(kāi)頭為1，“[3-9]”表示第二位為3-9中的任意一個(gè)數(shù)字，“[0-9]{9}”表示后面跟9位數(shù)字。
• ***：替換后的內(nèi)容。

執(zhí)行該命令后，app.log中所有的手機(jī)號(hào)都會(huì)被替換為“***”。

實(shí)例2：對(duì)身份證號(hào)進(jìn)行脫敏

身份證號(hào)為18位數(shù)字或17位數(shù)字加一個(gè)大寫(xiě)字母X，我們將其替換為“******************”，命令如下：

sed -i 's/[1-9][0-9]\{16\}[0-9X]/******************/g' app.log

腳本解釋?zhuān)?/p>

• [1-9][0-9]\{16\}[0-9X]：正則表達(dá)式，匹配18位身份證號(hào)，“[1-9]”表示第一位為1-9中的任意一個(gè)數(shù)字，“[0-9]{16}”表示中間16位為數(shù)字，“[0-9X]”表示最后一位為數(shù)字或X。
• ******************：替換后的內(nèi)容，共18個(gè)星號(hào)，與身份證號(hào)長(zhǎng)度一致。

實(shí)例3：對(duì)銀行卡號(hào)進(jìn)行脫敏（保留前4位和后4位）

銀行卡號(hào)通常為16-19位數(shù)字，我們將中間的數(shù)字替換為“****”，命令如下：

sed -i 's/\([0-9]\{4\}\)[0-9]\{8,11\}\([0-9]\{4\}\)/\1****\2/g' app.log

腳本解釋?zhuān)?/p>

• \([0-9]\{4\}\)：捕獲組1，匹配前4位數(shù)字。
• [0-9]\{8,11\}：匹配中間的8-11位數(shù)字（因?yàn)?6-4-4=8，19-4-4=11）。
• \([0-9]\{4\}\)：捕獲組2，匹配后4位數(shù)字。
• \1****\2：替換后的內(nèi)容，\1表示引用捕獲組1的內(nèi)容，\2表示引用捕獲組2的內(nèi)容，中間用“****”替換。

通過(guò)sed命令的脫敏處理，我們可以有效地保護(hù)日志中的敏感信息，防止信息泄露，符合數(shù)據(jù)安全和隱私保護(hù)的相關(guān)規(guī)定。

總結(jié)

線上Java日志管理雖然面臨著諸多難題，但借助split、tail、grep、awk、lsof、sed等Linux命令，我們可以輕松應(yīng)對(duì)。這些命令功能強(qiáng)大、使用靈活，能夠幫助我們解決日志文件過(guò)大、實(shí)時(shí)監(jiān)控、按條件過(guò)濾、統(tǒng)計(jì)事件頻率、追蹤上下文、恢復(fù)誤刪日志和脫敏處理等問(wèn)題。

以上就是7個(gè)Linux 命令輕松搞定線上Java日志管理難題的詳細(xì)內(nèi)容，更多關(guān)于Linux日志管理的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！

最新評(píng)論