Shell+Linux命令實(shí)現(xiàn)日志分析
更新時(shí)間：2014年08月19日 10:40:43 作者：藍(lán)色夏威夷
這篇文章主要介紹了Shell+Linux命令實(shí)現(xiàn)日志分析,本文給出了結(jié)合grep命令、awk命令等實(shí)現(xiàn)了幾個(gè)常用的日志分析統(tǒng)計(jì)長命令,需要的朋友可以參考下
一、列出當(dāng)天訪問次數(shù)最多的IP
命令：
復(fù)制代碼 代碼如下:
cut -d- -f 1 /usr/local/apache2/logs/access_log |uniq -c | sort -rn | head -20
原理：
復(fù)制代碼 代碼如下:
cut
-d, --delimiter=DELIM
use DELIM instead of TAB for field delimiter
表示用-分割，然后-f 1
-f, --fields=LIST
select only these fields; also print any line that contains no
delimiter character, unless the -s option is specified
表示打印第一部分，就是ip
uniq 是將重復(fù)行去掉， -c表示前面前面加上數(shù)目，
sort -rn 就是按照數(shù)字從大到小排序，
head -20取前面20行
最后打印的結(jié)果大概是這樣:
復(fù)制代碼 代碼如下:
217 192.114.71.13
116 124.90.132.65
108 192.114.71.13
102 194.19.140.96
101 217.70.34.173
100 219.235.240.36
116 124.90.132.65
108 192.114.71.13
102 194.19.140.96
101 217.70.34.173
100 219.235.240.36
以下是其他一些分析日志的shell用法：
1、查看當(dāng)天有多少個(gè)IP訪問：
復(fù)制代碼 代碼如下:
awk '{print $1}' log_file|sort|uniq|wc -l
2、查看某一個(gè)頁面被訪問的次數(shù);
復(fù)制代碼 代碼如下:
grep "/index.php" log_file | wc -l
3、查看每一個(gè)IP訪問了多少個(gè)頁面：
復(fù)制代碼 代碼如下:
awk '{++S[$1]} END {for (a in S) print a,S[a]}' log_file
4、將每個(gè)IP訪問的頁面數(shù)進(jìn)行從小到大排序：
復(fù)制代碼 代碼如下:
awk '{++S[$1]} END {for (a in S) print S[a],a}' log_file | sort -n
5、查看某一個(gè)IP訪問了哪些頁面：
復(fù)制代碼 代碼如下:
grep ^111.111.111.111 log_file| awk '{print $1,$7}'
6、去掉搜索引擎統(tǒng)計(jì)當(dāng)天的頁面：
復(fù)制代碼 代碼如下:
awk '{print $12,$1}' log_file | grep ^\"Mozilla | awk '{print $2}' |sort | uniq | wc -l
7、查看2009年6月21日14時(shí)這一個(gè)小時(shí)內(nèi)有多少IP訪問：
復(fù)制代碼 代碼如下:
awk '{print $4,$1}' log_file | grep 21/Jun/2009:14 | awk '{print $2}'| sort | uniq | wc -l
您可能感興趣的文章:
- linux shell命令快捷獲得系統(tǒng)幫助(一)[man-pages定義規(guī)范]
- linux shell命令行選項(xiàng)與參數(shù)用法詳解
- linux shell腳本學(xué)習(xí)xargs命令使用詳解
- linux中 shell 歷史命令記錄功能
- Linux命令行和shell腳本編程寶典 Richard Blum
- linux shell命令執(zhí)行順序的控制方法
- Ruby中執(zhí)行Linux shell命令的六種方法詳解
- linux shell命令行參數(shù)用法詳解
- Linux Shell腳本系列教程（二）：終端打印命令詳解
- Linux shell命令幫助格式詳解
相關(guān)文章
本篇文章主要介紹了Linux--shell腳本之正則表達(dá)式，具有一定的參考價(jià)值，有興趣的可以了解一下。2017-01-01
監(jiān)視磁盤使用情況的Shell腳本(本地+遠(yuǎn)程)
任何一個(gè)分區(qū)使用到90%就發(fā)送一個(gè)郵件給指定的收件人,到95%就在郵件主題出警告(warning),說明發(fā)送郵件程序EMAIL2013-01-01
這篇文章主要介紹了在Shell中分割字符串的例子,使用3種方法實(shí)現(xiàn),需要的朋友可以參考下2014-06-06
Shell腳本實(shí)現(xiàn)apache日志中的狀態(tài)碼分析
這篇文章主要介紹了Shell腳本實(shí)現(xiàn)apache日志中的狀態(tài)碼分析,本文先是介紹了按天切割日志的方法,然后給出了分析訪問狀態(tài)碼的腳本,需要的朋友可以參考下2014-12-12
shell參數(shù)換行與shell輸出換行的方法實(shí)例
這篇文章主要給大家介紹了關(guān)于shell參數(shù)換行與shell輸出換行的方法實(shí)例,文中通過實(shí)例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2023-02-02
ubuntu使用root用戶登錄/切換root權(quán)限的實(shí)現(xiàn)
下面小編就為大家?guī)硪黄猽buntu使用root用戶登錄/切換root權(quán)限的實(shí)現(xiàn)。小編覺得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2017-01-01
這篇文章主要介紹了shell腳本返回值問題的解決，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-05-05
CCKiller：Linux輕量級(jí)CC攻擊防御工具，秒級(jí)檢查、自動(dòng)拉黑和釋放
這篇文章主要介紹了CCKiller：Linux輕量級(jí)CC攻擊防御工具，秒級(jí)檢查、自動(dòng)拉黑和釋放,需要的朋友可以參考下2016-02-02
這篇文章給大家介紹了Linux解壓縮文件的命令，感興趣的朋友跟隨腳本之家小編一起看看吧2018-05-05
假如執(zhí)行備份腳本消耗的時(shí)間遠(yuǎn)大于設(shè)置的備份間隔的話，系統(tǒng)會(huì)出現(xiàn)多個(gè)同時(shí)在執(zhí)行腳本的Bash實(shí)例，會(huì)占用大量的系統(tǒng)資源，進(jìn)而影響正常業(yè)務(wù)程序的運(yùn)行，那如何解決上述shell腳本重復(fù)執(zhí)行的問題呢，本文將要介紹的 flock 命令可以解決這個(gè)問題2021-05-05