對于大型網(wǎng)站來說，很多網(wǎng)站在可用性方面提出4個9或者5個9的要求，如果是4個9，那么網(wǎng)站全年的不可用時間不能超過52.6分鐘，如果是5個9，全年不可用時間不能超過5.2分鐘。這其實是很難的，無論多么厲害的程序員，他寫過的代碼不可能完全沒有問題。而且有些時候，在線上發(fā)生問題的時候，我們大部分時間都用在排查并定位問題上了。一個問題可能解決起來也就是幾分鐘，但是排查起來卻要花費幾個小時。

在日常工作中，如果我們遇到線上問題，一般的處理步驟應(yīng)該是先保留現(xiàn)場，然后再考慮回滾，之后再是解決問題。那么，保理現(xiàn)場保留的是什么的？至少要包括當時機器上面的線程的dump、堆內(nèi)存的dump還有最重要的就是日志。因為很多時候，日志可能是我們了解程序執(zhí)行的唯一途徑。

有了日志，還要掌握一些命令，才能更好的、更高效的定位問題，因為一旦發(fā)生線上問題的時候，真的是分秒必爭。本文，為你總結(jié)了幾個常用的命令和簡單用法，以及幾個小案例來運用這些命令。

在介紹之前我還要強調(diào)一點，有很多朋友說，我不需要會這么多命令，一個vim(vi)命令就夠我用了，請不要在服務(wù)器上直接對日志文件進行vim(vi)操作，這樣可能會導致機器直接掛掉。

cat 查看文件的內(nèi)容
cat命令是一個顯示文本文件內(nèi)容的便捷工具,如果一個日志文件比較小,可以直接使用cat命令將其內(nèi)容打印出來,進行查看,但是,對于較大的日志文件,請不要這樣做,打開一個過大的文件可能會占用過多的系統(tǒng)資源,從而影響系統(tǒng)對外的服務(wù)。

命令格式：

cat [選項] [文件]...

more 分頁顯示文件

cat的缺點在于,一旦執(zhí)行后,便無法再進行交互和控制,而more命令可以分頁的展現(xiàn)文件內(nèi)容,按enter鍵顯示文件下一行,按空格鍵便顯示下一頁,按 f鍵顯示下一屏內(nèi)容,按b鍵顯示上一屏內(nèi)容。

命令格式：

more [-dlfpcsu ] [-num ] [+/ pattern] [+ linenum] [file ... ]

less 分頁顯示文件

less 工具也是對文件或其它輸出進行分頁顯示的工具，應(yīng)該說是linux正統(tǒng)查看文件內(nèi)容的工具，功能極其強大。less 的用法比起 more 更加的有彈性。在 more 的時候，我們并沒有辦法向前面翻， 只能往后面看，但若使用了 less 時，就可以使用 [pageup] [pagedown] 等按鍵的功能來往前往后翻看文件，更容易用來查看一個文件的內(nèi)容！除此之外，在 less 里頭可以擁有更多的搜索功能，不止可以向下搜，也可以向上搜。

命令格式：

less [參數(shù)] 文件

tail 顯示文件尾

使用tail命令能夠查看到文件最后幾行,這對于日志文件非常有效,因為日志文件常常是追加寫入的,新寫入的內(nèi)容處于文件的末尾位置。

使用tail命令的-f選項可以方便的查閱正在改變的日志文件,tail -f filename會把filename里最尾部的內(nèi)容顯示在屏幕上,并且不但刷新,使你看到最新的文件內(nèi)容.

命令格式;

tail[必要參數(shù)][選擇參數(shù)][文件]

head 顯示文件頭
與tail命令類似,但是不同的是head命令用于顯示文件開頭的一組行。

命令格式：

head [參數(shù)]... [文件]...

sort 內(nèi)容排序
一個文件中包含有眾多的行,經(jīng)常需要對這些行中的某一列進行排序操作, sort命令的作用便是對數(shù)據(jù)進行排序。

命令格式：

sort [參數(shù)][文件]

wc 字符統(tǒng)計
wc命令可以用來統(tǒng)計指定文件中的字符數(shù),字數(shù),行數(shù),并輸出統(tǒng)計結(jié)果。

命令格式：

wc [選項]文件...

uniq 查看重復(fù)出現(xiàn)的行
uniq命令可以用來顯示文件中行重復(fù)的次數(shù),或者顯示僅出現(xiàn)一次的行,以及僅僅顯示重復(fù)出現(xiàn)的行,并且,uniq的去重針對的只是連續(xù)的兩行,因此它常常與sort結(jié)合起來使用。

命令格式：

uniq[選項][參數(shù)]

curl URL訪問工具
要想在命令行下通過HTTP協(xié)議訪問網(wǎng)頁文檔,就不得不用到一個工具,這便是curl,它支持HTTP,HTTPS,FTP,FTPS,Telnet等多種協(xié)議,常被用來在命令行下抓取網(wǎng)頁和監(jiān)控WEB服務(wù)器狀態(tài)。

命令格式：

curl [option] [url]

查看請求訪問量
對于在線運行的系統(tǒng)來說,常常會碰到各種不懷好意的惡意攻擊行為,其中比較常見的便是HTTP flood,也稱為CC攻擊。如何能夠快速的定位到攻擊, 并迅速響應(yīng),便成為開發(fā)運維人員必備的技能。定位問題最快捷的辦法,便是登錄到相應(yīng)的應(yīng)用,查看訪問日志,找到相應(yīng)的攻擊來源,如訪問量排名前10的ip地址:

cat access.log | cut -f1 -d " " | sort | uniq -c | sort -k 1 -n -r | head -10

頁面訪問量排名前10的url:

cat access.log | cut –f4 -d " " | sort | uniq -c | sort -k 1 -n -r | head -10

查看最耗時的頁面
對于開發(fā)人員來說,頁面的響應(yīng)時間是非常值得關(guān)注的,因為這直接關(guān)系到用戶能否快速的看到他想看到的內(nèi)容。因此,開發(fā)人員常常需要將響應(yīng)慢的頁面找出來,進行優(yōu)化:

cat access.log | sort -k 2 -n -r | head -10

統(tǒng)計404頁面占比
對于請求的返回碼,有些時候也是需要關(guān)注的,比如,如果404請求占比過多, 要么就是有惡意攻擊者在進行掃描,要么就是系統(tǒng)出現(xiàn)問題了,同樣,對于 500的請求也是如此,可以通過如下命令來查看404請求的占比:

export total_line=`wc -l access.log | cut -f1 -d " "` && export not_found_line=`awk '$6=='404'{print $6}' access.log | wc -l` && expr $not_found_line \* 100 / $total_line

更多的需要結(jié)合linux的一些命令

最新評論