利用shell命令統(tǒng)計(jì)日志的方法詳解
前言
大家都知道，通過(guò)使用 shell 命令可以很方便地對(duì)日志進(jìn)行統(tǒng)計(jì)和分析，當(dāng)服務(wù)有異常的時(shí)候，需要去排查日志，那么掌握一種統(tǒng)計(jì)日志的技巧就是必不可少的了。
假設(shè)有一個(gè)包含下面內(nèi)容的日志文件 access.log。我們以統(tǒng)計(jì)這個(gè)文件的日志為例。
date=2017-09-23 13:32:50 | ip=40.80.31.153 | method=GET | url=/api/foo/bar?params=something | status=200 | time=9.703 | bytes=129 | referrer="-" | user-agent="Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.7 (KHTML, like Gecko) Chrome/16.0.912.63 Safari/535.7" | cookie="-" date=2017-09-23 00:00:00 | ip=100.109.222.3 | method=HEAD | url=/api/foo/healthcheck | status=200 | time=0.337 | bytes=10 | referrer="-" | user-agent="-" | cookie="-" date=2017-09-23 13:32:50 | ip=40.80.31.153 | method=GET | url=/api/foo/bar?params=anything | status=200 | time=8.829 | bytes=466 | referrer="-" | user-agent="GuzzleHttp/6.2.0 curl/7.19.7 PHP/7.0.15" | cookie="-" date=2017-09-23 13:32:50 | ip=40.80.31.153 | method=GET | url=/api/foo/bar?params=everything | status=200 | time=9.962 | bytes=129 | referrer="-" | user-agent="Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.7 (KHTML, like Gecko) Chrome/16.0.912.63 Safari/535.7" | cookie="-" date=2017-09-23 13:32:50 | ip=40.80.31.153 | method=GET | url=/api/foo/bar?params=nothing | status=200 | time=11.822 | bytes=121 | referrer="-" | user-agent="Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.7 (KHTML, like Gecko) Chrome/16.0.912.63 Safari/535.7" | cookie="-"
不同的服務(wù)對(duì)應(yīng)的日志可能不一樣，本文使用示例日志的格式是：
date | ip | method | url | status | time | bytes | referrer | user-agent | cookie
注意：mac 系統(tǒng)和 linux 系統(tǒng)中的命令行為可能不同，以下命令請(qǐng)?jiān)?linux 系統(tǒng)中使用
排除特殊日志
統(tǒng)計(jì)日志時(shí)，我們可能不關(guān)心 HEAD 請(qǐng)求，或者只關(guān)心 GET 請(qǐng)求，這里首先需要篩選日志，可以使用 grep 命令。-v 的含義是排除匹配的文本行。
grep GET access.log # 只統(tǒng)計(jì) GET 請(qǐng)求 grep -v HEAD access.log # 不統(tǒng)計(jì) HEAD 請(qǐng)求 grep -v 'HEAD\|POST' access.log # 不統(tǒng)計(jì) HEAD 和 POST 請(qǐng)求
查看接口耗時(shí)情況
我們可以將每行的 time 匹配出來(lái)，然后做一個(gè)排序。使用 awk 的 match 方法可以匹配正則：
awk '{ match($0, /time=([0-9]+\.[0-9]+)/, result); print result[1]}' access.log
awk 命令使用方法如下：
awk '{pattern + action}' {filenames}
我們實(shí)際上只用到了 action：match($0, /time=([0-9]+\.[0-9]+)/, result); print result[1] 這一段。
match 方法接收三個(gè)參數(shù)：需要匹配的文本、正則表達(dá)式、結(jié)果數(shù)組。$0 代表 awk 命令處理的每一行，結(jié)果數(shù)組是可選的，因?yàn)槲覀円玫狡ヅ浣Y(jié)果所以這里傳入了一個(gè) result 數(shù)組，用來(lái)存儲(chǔ)匹配后的結(jié)果。
注意這里的正則我沒(méi)有使用 \d 來(lái)表示數(shù)字，因?yàn)?awk 指令默認(rèn)使用 “EREs"，不支持 \d 的表示，具體請(qǐng)看 linux shell 正則表達(dá)式(BREs,EREs,PREs)差異比較。
result 數(shù)組實(shí)際上和 javascript 里的結(jié)果數(shù)組很像了，所以我們打印出第二個(gè)元素，即匹配到的內(nèi)容。執(zhí)行完這行命令后結(jié)果如下：
9.703 0.337 8.829 9.962 11.822
當(dāng)然實(shí)際上一天的日志可能是成千上萬(wàn)條，我們需要對(duì)日志進(jìn)行排序，且只展示前 3 條。這里使用到 sort 命令。
sort 命令默認(rèn)從小到大排序，且當(dāng)作字符串排序。所以默認(rèn)情況下使用 sort 命令之后 "11" 會(huì)排在 "8" 前面。那么需要使用 -n 指定按數(shù)字排序，-r 來(lái)按從大到小排序，然后我們查看前 3 條：
awk '{ match($0, /time=([0-9]+\.[0-9]+)/, result); print result[1]}' access.log | sort -rn | head -3
結(jié)果：
11.822 9.962 9.703
查看耗時(shí)最高的接口
當(dāng)然我們一般不會(huì)只查看接口耗時(shí)情況，還需要把具體日志也打印出來(lái)，上面的命令就不能滿足要求了。
awk 的打印默認(rèn)是按空格分隔的，意思是 2017-09-23 GET 這一行如果使用 awk '{print $1}' 會(huì)打印出 "2017-09-23"，類(lèi)似地，$2 會(huì)打印出 GET。
根據(jù)日志特征，我們可以使用 | 來(lái)作為分隔符，這樣就能打印出各個(gè)我們感興趣的值了。因?yàn)槲覀兿胝页龊臅r(shí)最高的接口，那么我們把 time、date 和 url 單獨(dú)找出來(lái)。
awk 的 -F 參數(shù)用來(lái)自定義分隔符。然后我們可以數(shù)一下三個(gè)部分按 | 分隔后分別是第幾個(gè)：time 是第 6 個(gè)、date 是第 1 個(gè)、url 是第 4 個(gè)。
awk -F '|' '{print $6 $1 $4}' access.log
這樣打出來(lái)結(jié)果為：
time=9.703 date=2017-09-23 13:32:50 url=/api/foo/bar?params=something time=0.337 date=2017-09-23 00:00:00 url=/api/foo/healthcheck time=8.829 date=2017-09-23 13:32:50 url=/api/foo/bar?params=anything time=9.962 date=2017-09-23 13:32:50 url=/api/foo/bar?params=everything time=11.822 date=2017-09-23 13:32:50 url=/api/foo/bar?params=nothing
因?yàn)槲覀兿氚?time 來(lái)排序，而 sort 可以按列來(lái)排序，而列是按空格分隔的，我們目前第一列是 time=xxx，是不能排序的，所以這里要想辦法把 time= 給去掉，因?yàn)槲覀兒茈u賊地把耗時(shí)放在了第一列，那么其實(shí)再通過(guò) time= 進(jìn)行分隔一下就行了。
awk -F '|' '{print $6 $1 $4}' access.log | awk -F 'time=' '{print $2}'
結(jié)果：
9.703 date=2017-09-23 13:32:50 url=/api/foo/bar?params=something 0.337 date=2017-09-23 00:00:00 url=/api/foo/healthcheck 8.829 date=2017-09-23 13:32:50 url=/api/foo/bar?params=anything 9.962 date=2017-09-23 13:32:50 url=/api/foo/bar?params=everything 11.822 date=2017-09-23 13:32:50 url=/api/foo/bar?params=nothing
使用 sort 的 -k 參數(shù)可以指定要排序的列，這里是第 1 列；再結(jié)合上面的排序，就能把耗時(shí)最高的日志打印出來(lái)了：
awk -F '|' '{print $6 $1 $4}' access.log | awk -F 'time=' '{print $2}' | sort -k1nr | head -3
結(jié)果：
11.822 date=2017-09-23 13:32:50 url=/api/foo/bar?params=nothing 9.962 date=2017-09-23 13:32:50 url=/api/foo/bar?params=everything 9.703 date=2017-09-23 13:32:50 url=/api/foo/bar?params=something
統(tǒng)計(jì)請(qǐng)求次數(shù)最多的接口
如果需要統(tǒng)計(jì)哪些接口每天請(qǐng)求量是最多的，只需要新引入 uniq 命令。
我們已經(jīng)可以通過(guò) grep -v HEAD access.log | awk -F '|' '{print $4}' 來(lái)篩選出所有的 url，uniq 命令可以刪除 相鄰 的相同的行，而 -c 可以輸出每行出現(xiàn)的次數(shù)。
所以我們先把 url 排序以讓相同的 url 放在一起，然后使用 uniq -c 來(lái)統(tǒng)計(jì)出現(xiàn)的次數(shù)：
grep -v HEAD access.log | awk -F '|' '{print $4}' | sort | uniq -c
因?yàn)槭纠罩緮?shù)量太少，我們假設(shè)日志里有多條，那么結(jié)果應(yīng)該類(lèi)似下面：
1 url=/api/foo/bar?params=anything 19 url=/api/foo/bar?params=everything 4 url=/api/foo/bar?params=nothing 5 url=/api/foo/bar?params=something
接下來(lái)再 sort 即可：
grep -v HEAD access.log | awk -F '|' '{print $4}' | sort | uniq -c | sort -k1nr | head -10
總結(jié)
以上就是這篇文章的全部?jī)?nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作能帶來(lái)一定的幫助，如果有疑問(wèn)大家可以留言交流，謝謝大家對(duì)腳本之家的支持。
相關(guān)文章
本篇文章主要介紹了Linux--shell腳本之正則表達(dá)式，具有一定的參考價(jià)值，有興趣的可以了解一下。2017-01-01
一天一個(gè)shell命令 linux文本操作系列-wc命令詳解
這篇文章主要介紹了一天一個(gè)shell命令 linux文本操作系列-wc命令詳解,需要的朋友可以參考下2016-06-06
今天這個(gè)案例很酷，是用來(lái)控制輸出的顏色的,需要的朋友可以參考下2016-08-08
這篇文章主要介紹了linux中kvm的安裝及快照管理的相關(guān)資料,需要的朋友可以參考下2016-12-12
linux 中more、less 和 most 的區(qū)別
more 是一個(gè)老式的、基礎(chǔ)的終端分頁(yè)閱讀器，它可以用于打開(kāi)指定的文件并進(jìn)行交互式閱讀。這篇文章主要給大家介紹linux 中more、less 和 most 的區(qū)別，感興趣的朋友跟隨小編一起看看吧2018-11-11
下面小編就為大家?guī)?lái)一篇詳談linux中sar的使用方法。小編覺(jué)得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2017-03-03
Linux命令學(xué)習(xí)之原來(lái)最簡(jiǎn)單的ls命令這么復(fù)雜
ls命令應(yīng)該是我們最常用的命令之一了，但是我們可能容易忽略那些看起來(lái)最簡(jiǎn)單的東西。本文就來(lái)和大家詳細(xì)聊聊ls命令的使用，需要的可以了解一下2022-10-10
shell腳本自動(dòng)輸入用戶名和密碼的實(shí)現(xiàn)
本文主要介紹了shell腳本自動(dòng)輸入用戶名和密碼的實(shí)現(xiàn)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-02-02
在Linux?中使用?pidstat?命令監(jiān)控進(jìn)程性能?的操作方法
pidstat是Linux系統(tǒng)中一個(gè)用于監(jiān)控各種統(tǒng)計(jì)信息的命令行工具,它能夠幫助用戶了解系統(tǒng)中各個(gè)進(jìn)程的資源使用情況,如CPU、內(nèi)存、I/O等,本文介紹了如何安裝pidstat,以及如何使用其不同的選項(xiàng)來(lái)監(jiān)控進(jìn)程的各種性能指標(biāo),感興趣的朋友一起看看吧2024-09-09
linux shell之控制臺(tái)打印各種顏色字體和背景的實(shí)現(xiàn)方法
今天小編就為大家分享一篇關(guān)于linux shell之控制臺(tái)打印各種顏色字體和背景的實(shí)現(xiàn)方法，小編覺(jué)得內(nèi)容挺不錯(cuò)的，現(xiàn)在分享給大家，具有很好的參考價(jià)值，需要的朋友一起跟隨小編來(lái)看看吧2019-04-04