使用Python編寫提取日志中的中文的腳本的方法

更新時間：2015年04月30日 17:40:23 作者：JohnnyHu90

這篇文章主要介紹了使用Python編寫提取日志中的中文的腳本的方法,該腳本包括過濾重復的字符行等功能,需要的朋友可以參考下

由于工作需要在一大堆日志里面提取相應的一些固定字符，如果單純靠手工取提取，數(shù)據(jù)量大，勞心勞力，于是自然而然想到了用Python做一個對應的提取工具，代替手工提取的繁雜，涉及中文字符，正則表達式不好匹配，但不是不可以實現(xiàn)，這個以后優(yōu)化時再說。

需求描述：

一個父目錄中存在多個子文件夾，子文件夾下有多個txt形式化的Log日志，要求從所有地方Log日志中找出CardType=9, CardNo=0時的CardID的值，并將其統(tǒng)計存儲到一個文本文件中，要求CardID不能夠重復。

需求解析：

首先獲取所有的Log日志的全路徑，根據(jù)路徑分別加載到將各個Log日志加載到內(nèi)存中進行提取分析，并將結(jié)果存儲到給定的文本文件中。

解決方案：

為了盡可能的簡潔通用，這里使用配置文件作為輸入變量的依據(jù)。不多說，上代碼：

配置文件如下：

2015430173625617.png (452×84)

103文件夾下有兩個文件：log1.txt和log2.txt, 內(nèi)容類似如下：

2015430173809357.png (169×239) 2015430173724409.png (175×242)

Python代碼實現(xiàn)如下：

# -*- coding: utf-8 -*-
#!/usr/bin/python
# filename: picktools.py
# codedtime:2015-3-25

import os
import configparser

# 遍歷一個目錄，輸出所有文件名
def itemsbrowse(path):
  for home, dirs, files in os.walk(path):
    for filename in files:
      yield os.path.join(home, filename)

# 給的文件中查找對應的字符串所在行      
def findchars(filename, chars):
  file = open(filename, 'r')
  for eachline in file:
    if eachline.find(chars) >= 0:
      yield eachline
  file.close()

# 添加到指定的文件
def addtofile(filename, mygenerator):
  file = open(filename, 'a')   # 追加方式打開
  for line in mygenerator:
    file.write(line)
  file.close()

# 過濾重復的字符行
def filter(filename):
  mylist = []
  file = open(filename, 'r')
  for eachline in file:
    mylist.append(eachline.strip())
  file.close()
  
  file2 = open(os.path.splitext(filename)[0] + '_filter.txt', 'w')
  for line in list(set(mylist)):
    print(line, file = file2)
    #file2.write(line) 
  file2.close()
  

def excute():
  iniconf = configparser.ConfigParser()
  iniconf.read('config.ini')
  ifile = iniconf.get('setting', 'ifilepath')
  ofile = iniconf.get('setting', 'ofilepath')
  chars = iniconf.get('setting', 'searchstr')
  
  for fullname in itemsbrowse(ifile):
    mygenerator = findchars(fullname, chars)
    addtofile(ofile, mygenerator)
    
  filter(ofile)
      
      
if __name__ == '__main__':
  excute()

輸出結(jié)果：輸出兩個文件result.txt 和result_filter.txt

2015430173844654.png (180×280) 2015430173909943.png (181×279)