快捷導(dǎo)航

python中日志logging模塊的性能及多進(jìn)程詳解

更新時(shí)間：2017年07月18日 09:32:18 作者：常城

使用Python來寫后臺(tái)任務(wù)時(shí)，時(shí)常需要使用輸出日志來記錄程序運(yùn)行的狀態(tài)，并在發(fā)生錯(cuò)誤時(shí)將錯(cuò)誤的詳細(xì)信息保存下來，以別調(diào)試和分析。Python的logging模塊就是這種情況下的好幫手。本文就介紹了python中日志logging模塊性能及多進(jìn)程的相關(guān)資料，需要的朋友可以參考下。

前言

Java 中最通用的日志模塊莫過于 Log4j 了，在 python 中，也自帶了 logging 模塊，該模塊的用法其實(shí)和 Log4j 類似。日志是記錄操作的一種好方式。但是日志，基本都是基于文件的，也就是要寫到磁盤上的。這時(shí)候，磁盤將會(huì)成為一個(gè)性能瓶頸。對(duì)于普通的服務(wù)器硬盤（機(jī)械磁盤，非固態(tài)硬盤），Python日志的性能瓶頸是多少呢？今天我們就來測一下。下面話不多說，來一起看看詳細(xì)的介紹：

測試代碼如下：

#! /usr/bin/env python 
#coding=utf-8 
 
# ============================ 
# Describe : 給平臺(tái)提供的日志 
# D&P Author By:  常成功 
# Create Date:  2016/08/01 
# Modify Date:  2016/08/01 
# ============================ 
 
import time 
import os 
import logging 
 
 
print "Start test ...." 
s_tm = time.time() 
test_time = 10.0 # 測試時(shí)間10秒 
e_tm = s_tm + 10 
j = 0 
 
pid = str(os.getpid()) 
while 1: 
 now_time = time.time() 
 j += 1 
 if now_time > e_tm: 
  break 
 # 生成文件夾 
 lujing = "d:\\test_log" 
 if not os.path.exists(lujing): 
  os.mkdir(lujing) 
 
 fm2 = '%Y%m%d' 
 YMD = time.strftime(fm2, time.localtime(now_time)) 
 
 filename = 'recharge_' + YMD + '.log' 
 log_file = os.path.join(lujing, filename) 
 t = "\t" 
 log_msg = str(j) +t+ str(now_time) +t+ pid 
 
 the_logger = logging.getLogger('recharge_log') 
 f_handler = logging.FileHandler(log_file) 
 the_logger.addHandler(f_handler) 
 the_logger.setLevel(logging.INFO) 
 # To pass exception information, use the keyword argument exc_info with a true value 
 the_logger.info(log_msg, exc_info=False) 
 the_logger.removeHandler(f_handler) 
 
rps = j/test_time 
print rps, "rows per second"

結(jié)果為：

Start test ....

2973.0 rows per second