python實現(xiàn)apahce網(wǎng)站日志分析示例
維護(hù)腳本一例，寫得有點亂，只是作為一個實例，演示如何快速利用工具快速達(dá)到目的：
應(yīng)用到：shell與python數(shù)據(jù)交互、數(shù)據(jù)抓取，編碼轉(zhuǎn)換
#coding:utf-8
#!/usr/bin/python
'''
程序說明:apache access.log日志分析
分析訪問網(wǎng)站IP 來源情況
日期:2014-01-06 17:01
author:gyh9711
程序說明：應(yīng)用到：shell與python數(shù)據(jù)交互、數(shù)據(jù)抓取，編碼轉(zhuǎn)換
'''
import os
import json
import httplib
import codecs
LogFile='/var/log/apache2/access.log'
#日志
logMess='/tmp/acc.log'
if os.path.isfile(logMess):
os.system('cp /dev/null %s'% logMess)
file=codecs.open(logMess,'w+',encoding='utf-8')
def cmd(cmd):
return os.popen(cmd).readlines()
'''
def getIp(ip):
return json.loads(os.popen("/usr/bin/curl http://ip.taobao.com/service/getIpInfo.php?ip=%s" % ip).readline())['data']
'''
conn = httplib.HTTPConnection('ip.taobao.com')
def getIpCountry(ip):
conn.request('GET','/service/getIpInfo.php?ip=%s' % ip)
r1=conn.getresponse()
if r1.status == 200:
return json.loads(r1.read())['data']
else:
return "Error"
#將access.log文件進(jìn)行分析，并轉(zhuǎn)為python數(shù)組
file.write(u"字段說明:ip 訪問次數(shù)據(jù) ip國家 城市的 isp號 省份 所在地區(qū)\n")
ipDb=[]
for i in cmd('''/usr/bin/awk '{print $1}' %s |sort |uniq -c''' % LogFile):
ip = i.strip().split(' ')
ipDb.append(ip)
#通過taobao 提供接口分析ip地址來源
for i in ipDb:
_tmpD=getIpCountry(i[1])
#格式說明：ip 訪問次數(shù)據(jù) ip國家 城市的 isp號 省份 所在地區(qū)
out="%s%s%s%s%s%s%s"%(i[1].ljust(20),i[0].ljust(10),_tmpD['country'].ljust(20),_tmpD['city'].ljust(16),_tmpD['isp_id'].ljust(16),_tmpD['region'].ljust(16),_tmpD['area'].ljust(16))
print out
file.write("%s\n"%out)
conn.close()
file.close()
'''
'''
相關(guān)文章
今天小編就為大家分享一篇關(guān)于Python異常的檢測和處理方法，小編覺得內(nèi)容挺不錯的，現(xiàn)在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧2018-10-10
Python?PaddleGAN實現(xiàn)調(diào)整照片人物年齡
這篇文章主要介紹了通過PaddleGAN實現(xiàn)照片人物的老年化和年輕化處理，文中的示例代碼講解有效，對我們學(xué)習(xí)或工作有一定的幫助，感興趣的可以學(xué)習(xí)一下2021-12-12
Python利用Beautiful Soup模塊創(chuàng)建對象詳解
這篇文章主要介紹了Python利用Beautiful Soup模塊創(chuàng)建對象的相關(guān)資料，文中介紹的非常詳細(xì)，相信對大家具有一定的參考價值，需要的朋友們下面來一起看看吧。2017-03-03
Python3內(nèi)置模塊pprint讓打印比print更美觀詳解
這篇文章主要給大家介紹了關(guān)于Python3內(nèi)置模塊pprint讓打印比print更美觀的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對大家學(xué)習(xí)或者使用Python3具有一定的參考學(xué)習(xí)價值，需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧2019-06-06
解決python調(diào)用matlab時的一些常見問題
這篇文章主要介紹了解決python調(diào)用matlab時的一些常見問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-03-03
本篇文章給大家介紹了python中的字典，包括字典的操作，字典函數(shù)實現(xiàn)代碼，需要的朋友參考下吧2018-01-01
python小哥哥發(fā)現(xiàn)女朋友最近總是很忙的樣子,晚上匆匆忙忙道過晚安就不說話了.可是,QQ頭像卻會偶爾亮起來.小哥哥非常擔(dān)心,是不是賬號被盜了呢然后,就想幫女朋友排查一下所以就用python寫了一個錄制腳本,悄悄裝在女友電腦上,需要的朋友可以參考下2021-06-06
今天給大家?guī)淼氖顷P(guān)于Python的一些知識,文章圍繞著Python線程的玩法展開,文中有非常詳細(xì)的介紹及代碼示例,需要的朋友可以參考下2021-06-06
Python?Pandas數(shù)據(jù)處理高頻操作詳解
這篇文章主要為大家整理了一些Python?Pandas數(shù)據(jù)處理高頻操作，文中的示例代碼講解詳細(xì)，對我們學(xué)習(xí)Python有一定的幫助，需要的可以參考一下2022-06-06
如何利用Python將html轉(zhuǎn)為pdf、word文件
網(wǎng)絡(luò)上存在很多將HTML轉(zhuǎn)換為PDF的軟件和工具,但是大家都知道收費,所以下面這篇文章主要給大家介紹了關(guān)于如何利用Python將html轉(zhuǎn)為pdf、word文件的相關(guān)資料,文中通過示例代碼介紹介紹的非常詳細(xì),需要的朋友可以參考下2022-12-12