python寫的一個squid訪問日志分析的小程序

更新時間：2014年09月17日 11:55:52 作者：鄉(xiāng)村運維

這篇文章主要介紹了python寫的一個分析squid訪問日志的小程序,本文實現(xiàn)的目標(biāo)是統(tǒng)計access.log中的ip數(shù)目,需要的朋友可以參考下

這兩周組里面幾位想學(xué)習(xí)python，于是我們就創(chuàng)建了一個這樣的環(huán)境和氛圍來給大家學(xué)習(xí)。

昨天在群里，貼了一個需求，就是統(tǒng)計squid訪問日志中ip 訪問數(shù)和url的訪問數(shù)并排序，不少同學(xué)都大體實現(xiàn)了相應(yīng)的功能，我把我簡單實現(xiàn)的貼出來，歡迎拍磚：

日志格式如下：

復(fù)制代碼代碼如下:

%ts.%03tu %6tr %{X-Forwarded-For}>h %Ss/%03Hs %<st %rm %ru  %un %Sh/%<A %mt "%{Referer}>h" "%{User-Agent}>h" %{Cookie}>h 

復(fù)制代碼代碼如下:

1372776321.285      0 100.64.19.225 TCP_HIT/200 8560 GET http://img1.jb51.net/games/0908/19/1549401_3_80x100.jpg  - NONE/- image/jpeg "http://www.dbjr.com.cn/" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; QQDownload 734; .NET4.0C; .NET CLR 2.0.50727)" pcsuv=0;%20pcuvdata=lastAccessTime=1372776317582;%20u4ad=33480hn;%20c=14arynt;%20uf=1372776310453

復(fù)制代碼代碼如下:

#!/usr/bin/python

# -*- coding: utf-8 -*-

import sys

from optparse import OptionParser

'''

    僅僅是一個關(guān)于日志文件的測試，統(tǒng)計處access.log 的ip數(shù)目

'''

try:

    f = open('/data/proclog/log/squid/access.log')

except IOError,e:

    print "can't open the file:%s" %(e)

def log_report(field):

    '''

        return the field of the access log

    '''

    if field == "ip":

        return  [line.split()[2] for line in f]

    if field == "url":

        return  [line.split()[6] for line in f]

def log_count(field):

    '''

        return a dict of like {field:number}

    '''

    fields2 = {}

    fields = log_report(field)

    for field_tmp in fields:

        if field_tmp in fields2:

            fields2[field_tmp] += 1

        else:

            fields2[field_tmp] = 1

    return fields2

def log_sort(field,number = 10 ,reverse = True):

    '''

        print the sorted fields to output

    '''

    for v in sorted(log_count(field).iteritems(),key = lambda x:x[1] , reverse = reverse )[0:int(number)]:

        print v[1],v[0]

if __name__ == "__main__":

    parser =OptionParser(usage="%prog [-i|-u] [-n num | -r]" ,version = "1.0")

    parser.add_option('-n','--number',dest="number",type=int,default=10,help=" print top line of the ouput")

    parser.add_option('-i','--ip',dest="ip",action = "store_true",help="print ip information of access log")

    parser.add_option('-u','--url',dest="url",action = "store_true",help="print url information of access log")

    parser.add_option('-r','--reverse',action = "store_true",dest="reverse",help="reverse output ")

    (options,args) = parser.parse_args()

    if len(sys.argv) < 2:

        parser.print_help()

    if options.ip and options.url:

         parser.error(' -i and -u  can not be execute at the same time ')

    if options.ip :

        log_sort("ip", options.number , True and options.reverse  or False)

    if options.url:

        log_sort("url", options.number , True and  options.reverse or False)

    f.close()