快捷導(dǎo)航

分享Java開發(fā)必須掌握的日志分析命令

更新時(shí)間：2019年07月21日 14:22:32 作者：Hollis

這篇文章主要介紹了分享Java開發(fā)必須掌握的日志分析命令，在日常工作中，如果我們遇到線上問題，一般的處理步驟應(yīng)該是先保留現(xiàn)場(chǎng)，然后再考慮回滾，之后再是解決問題

對(duì)于大型網(wǎng)站來說，很多網(wǎng)站在可用性方面提出4個(gè)9或者5個(gè)9的要求，如果是4個(gè)9，那么網(wǎng)站全年的不可用時(shí)間不能超過52.6分鐘，如果是5個(gè)9，全年不可用時(shí)間不能超過5.2分鐘。這其實(shí)是很難的，無論多么厲害的程序員，他寫過的代碼不可能完全沒有問題。而且有些時(shí)候，在線上發(fā)生問題的時(shí)候，我們大部分時(shí)間都用在排查并定位問題上了。一個(gè)問題可能解決起來也就是幾分鐘，但是排查起來卻要花費(fèi)幾個(gè)小時(shí)。

在日常工作中，如果我們遇到線上問題，一般的處理步驟應(yīng)該是先保留現(xiàn)場(chǎng)，然后再考慮回滾，之后再是解決問題。那么，保理現(xiàn)場(chǎng)保留的是什么的？至少要包括當(dāng)時(shí)機(jī)器上面的線程的dump、堆內(nèi)存的dump還有最重要的就是日志。因?yàn)楹芏鄷r(shí)候，日志可能是我們了解程序執(zhí)行的唯一途徑。

有了日志，還要掌握一些命令，才能更好的、更高效的定位問題，因?yàn)橐坏┌l(fā)生線上問題的時(shí)候，真的是分秒必爭(zhēng)。本文，為你總結(jié)了幾個(gè)常用的命令和簡(jiǎn)單用法，以及幾個(gè)小案例來運(yùn)用這些命令。

在介紹之前我還要強(qiáng)調(diào)一點(diǎn)，有很多朋友說，我不需要會(huì)這么多命令，一個(gè)vim(vi)命令就夠我用了，請(qǐng)不要在服務(wù)器上直接對(duì)日志文件進(jìn)行vim(vi)操作，這樣可能會(huì)導(dǎo)致機(jī)器直接掛掉。

cat 查看文件的內(nèi)容
cat命令是一個(gè)顯示文本文件內(nèi)容的便捷工具,如果一個(gè)日志文件比較小,可以直接使用cat命令將其內(nèi)容打印出來,進(jìn)行查看,但是,對(duì)于較大的日志文件,請(qǐng)不要這樣做,打開一個(gè)過大的文件可能會(huì)占用過多的系統(tǒng)資源,從而影響系統(tǒng)對(duì)外的服務(wù)。

命令格式：

cat [選項(xiàng)] [文件]...

more 分頁顯示文件

cat的缺點(diǎn)在于,一旦執(zhí)行后,便無法再進(jìn)行交互和控制,而more命令可以分頁的展現(xiàn)文件內(nèi)容,按enter鍵顯示文件下一行,按空格鍵便顯示下一頁,按 f鍵顯示下一屏內(nèi)容,按b鍵顯示上一屏內(nèi)容。

命令格式：

more [-dlfpcsu ] [-num ] [+/ pattern] [+ linenum] [file ... ]

less 分頁顯示文件

less 工具也是對(duì)文件或其它輸出進(jìn)行分頁顯示的工具，應(yīng)該說是linux正統(tǒng)查看文件內(nèi)容的工具，功能極其強(qiáng)大。less 的用法比起 more 更加的有彈性。在 more 的時(shí)候，我們并沒有辦法向前面翻，只能往后面看，但若使用了 less 時(shí)，就可以使用 [pageup] [pagedown] 等按鍵的功能來往前往后翻看文件，更容易用來查看一個(gè)文件的內(nèi)容！除此之外，在 less 里頭可以擁有更多的搜索功能，不止可以向下搜，也可以向上搜。

命令格式：

less [參數(shù)] 文件

tail 顯示文件尾

使用tail命令能夠查看到文件最后幾行,這對(duì)于日志文件非常有效,因?yàn)槿罩疚募３Ｊ亲芳訉懭氲?新寫入的內(nèi)容處于文件的末尾位置。

使用tail命令的-f選項(xiàng)可以方便的查閱正在改變的日志文件,tail -f filename會(huì)把filename里最尾部的內(nèi)容顯示在屏幕上,并且不但刷新,使你看到最新的文件內(nèi)容.

命令格式;

tail[必要參數(shù)][選擇參數(shù)][文件]

head 顯示文件頭
與tail命令類似,但是不同的是head命令用于顯示文件開頭的一組行。

命令格式：

head [參數(shù)]... [文件]...

sort 內(nèi)容排序
一個(gè)文件中包含有眾多的行,經(jīng)常需要對(duì)這些行中的某一列進(jìn)行排序操作, sort命令的作用便是對(duì)數(shù)據(jù)進(jìn)行排序。

命令格式：

sort [參數(shù)][文件]

wc 字符統(tǒng)計(jì)
wc命令可以用來統(tǒng)計(jì)指定文件中的字符數(shù),字?jǐn)?shù),行數(shù),并輸出統(tǒng)計(jì)結(jié)果。

命令格式：

wc [選項(xiàng)]文件...

uniq 查看重復(fù)出現(xiàn)的行
uniq命令可以用來顯示文件中行重復(fù)的次數(shù),或者顯示僅出現(xiàn)一次的行,以及僅僅顯示重復(fù)出現(xiàn)的行,并且,uniq的去重針對(duì)的只是連續(xù)的兩行,因此它常常與sort結(jié)合起來使用。

命令格式：

uniq[選項(xiàng)][參數(shù)]

curl URL訪問工具
要想在命令行下通過HTTP協(xié)議訪問網(wǎng)頁文檔,就不得不用到一個(gè)工具,這便是curl,它支持HTTP,HTTPS,FTP,FTPS,Telnet等多種協(xié)議,常被用來在命令行下抓取網(wǎng)頁和監(jiān)控WEB服務(wù)器狀態(tài)。

命令格式：

curl [option] [url]

查看請(qǐng)求訪問量
對(duì)于在線運(yùn)行的系統(tǒng)來說,常常會(huì)碰到各種不懷好意的惡意攻擊行為,其中比較常見的便是HTTP flood,也稱為CC攻擊。如何能夠快速的定位到攻擊, 并迅速響應(yīng),便成為開發(fā)運(yùn)維人員必備的技能。定位問題最快捷的辦法,便是登錄到相應(yīng)的應(yīng)用,查看訪問日志,找到相應(yīng)的攻擊來源,如訪問量排名前10的ip地址:

cat access.log | cut -f1 -d " " | sort | uniq -c | sort -k 1 -n -r | head -10

頁面訪問量排名前10的url:

cat access.log | cut –f4 -d " " | sort | uniq -c | sort -k 1 -n -r | head -10

查看最耗時(shí)的頁面
對(duì)于開發(fā)人員來說,頁面的響應(yīng)時(shí)間是非常值得關(guān)注的,因?yàn)檫@直接關(guān)系到用戶能否快速的看到他想看到的內(nèi)容。因此,開發(fā)人員常常需要將響應(yīng)慢的頁面找出來,進(jìn)行優(yōu)化:

cat access.log | sort -k 2 -n -r | head -10

統(tǒng)計(jì)404頁面占比
對(duì)于請(qǐng)求的返回碼,有些時(shí)候也是需要關(guān)注的,比如,如果404請(qǐng)求占比過多, 要么就是有惡意攻擊者在進(jìn)行掃描,要么就是系統(tǒng)出現(xiàn)問題了,同樣,對(duì)于 500的請(qǐng)求也是如此,可以通過如下命令來查看404請(qǐng)求的占比:

export total_line=`wc -l access.log | cut -f1 -d " "` && export not_found_line=`awk '$6=='404'{print $6}' access.log | wc -l` && expr $not_found_line \* 100 / $total_line

更多的需要結(jié)合linux的一些命令

您可能感興趣的文章: