python實(shí)現(xiàn)tail -f 功能
tailf與tail -f類似:當(dāng)文件不增長時并不訪問文件
tail -f:只跟蹤文件內(nèi)容
tail -F:文件內(nèi)容與文件名都跟蹤
這篇文章最初是因?yàn)閞eboot的群里,有人去面試,筆試題有這個題,不知道怎么做,什么思路,就發(fā)群里大家討論
我想了一下,簡單說一下我的想法吧,當(dāng)然,也有很好用的pyinotify模塊專門監(jiān)聽文件變化,不過我更想介紹的,是解決的思路,畢竟作為面試官,還是想看到一下解決問題的思路,而且我覺得這一題的難點(diǎn)不在于監(jiān)控文件增量,而在于怎么打印最后面10行
希望大家讀這篇文章前,對python基礎(chǔ)、處理文件和常用模塊有一個簡單的了解,知道下面幾個名詞是啥
open('a.txt')
file.seek
file.tell
time.sleep()
下面思路限于我個人知識,免不了有錯誤和考慮不周的,希望大家有更好的方法提出來,我隨時優(yōu)化代碼,題目的感覺沒啥太多的坑,下面讓天真爛漫的蝸牛教大家用python的思路
怎么用python實(shí)現(xiàn)
其實(shí)思路也不難啦
- 打開這個文件,指針移到最后
- 每隔一秒就嘗試readline一下,有內(nèi)容就打印出來,沒內(nèi)容就sleep
- 大概就是這么個意思
監(jiān)聽文件
思路如下:
- 用open打開文件
- 用seek文件指針,給大爺把跳到文件最后面
- while True進(jìn)行循環(huán)
持續(xù)不停的readline,如果能讀到內(nèi)容,打印出來即可
代碼呼之欲出
with open('test.txt') as f:
f.seek(0,2)
while True:
last_pos = f.tell()
line = f.readline()
if line:
print line
代碼說明
- seek第二個參數(shù)2,意思就是從文件結(jié)尾處開始seek,更標(biāo)準(zhǔn)的寫法使用os模塊下面的SEEK_END,可讀性更好
- 只寫出了簡單的邏輯,代碼簡單粗暴,如果這個題目是10分的話,最多也就拿4分吧,不能再多了
優(yōu)化點(diǎn)
- print有缺陷,每次都是新的一行,換成sys.stdout.write(line)更和諧
- 文件名傳參,不能寫死
- 直接打印可以當(dāng)成默認(rèn)行為,具體要做什么,可以寫成函數(shù)處理,這樣我們就可以把新行做其他處理,比如展示在瀏覽器里
- 加上容錯處理,比如文件不存在會報錯
- while True一直都文件,比較耗性能,每讀一次,間隔一秒比較靠譜
- 調(diào)用time.sleep(1)
- 用類來組織代碼
實(shí)例代碼如下
#!/usr/bin/env python
# -*- coding:utf-8 -*-
import sys
import time
class Tail():
def __init__(self,file_name,callback=sys.stdout.write):
self.file_name = file_name
self.callback = callback
def follow(self):
try:
with open(self.file_name) as f:
f.seek(0,2)
while True:
line = f.readline()
if line:
self.callback(line)
time.sleep(1)
except Exception,e:
print '打開文件失敗,囧,看看文件是不是不存在,或者權(quán)限有問題'
print e
使用方法:
# 使用默認(rèn)的sys.stdout.write打印到屏幕
py_tail = Tail('test.txt')
py_tail.follow()
# 自己定義處理函數(shù)
def test_tail(line):
print 'xx'+line+'xx'
py_tail1 = Tail('test.txt', test_tail)
py_tail1.follow()
咦 等等,tail -f 默認(rèn)還會打印最后10行,這個好像才是這個題目的難點(diǎn)所在,眾所周知,python里讀文件指針,只能移動到固定位置,不能判斷是哪一行,囧,先實(shí)現(xiàn)簡單的,逐漸加強(qiáng)吧
默認(rèn)打印最后10行
現(xiàn)在這個代碼,大概能拿6分啦,我們還有一個功能沒做,那就是打印最后n行,默認(rèn)是10行,現(xiàn)在把這個功能加上,加一個函數(shù)就行啦
文件小的時候
我們知道,readlines可以獲取所有內(nèi)容,并且分行,代碼呼之欲出,獲取list最后10行很簡單有么有,切片妥妥的
# 演示代碼,說明核心邏輯,完整代碼在下面 last_lines = f.readlines()[-10:] for line in last_lines: self.callback(line)
此時代碼變成這樣了
import sys
import time
class Tail():
def __init__(self,file_name,callback=sys.stdout.write):
self.file_name = file_name
self.callback = callback
def follow(self,n=10):
try:
with open(self.file_name) as f:
self._file = f
self.showLastLine(n)
self._file.seek(0,2)
while True:
line = self._file.readline()
if line:
self.callback(line)
except Exception,e:
print '打開文件失敗,囧,看看文件是不是不存在,或者權(quán)限有問題'
print e
def showLastLine(self, n):
last_lines = self._file.readlines()[-10:]
for line in last_lines:
self.callback(line)
更進(jìn)一步:大的日志怎么辦
此時代碼有7分時很隨意啦,但是如果文件特別大呢,特別是日志文件,很容易幾個G,我們只需要最后幾行,全部讀出來內(nèi)存受不了,所以我們要繼續(xù)優(yōu)化showLastLine函數(shù),我覺得這才是這題的難點(diǎn)所在
大概的思路如下
我先估計(jì)日志一行大概是100個字符,注意,我只是估計(jì)一個大概,多了也沒關(guān)系,我們只是需要一個初始值,后面會修正
我要讀十行,所以一開始就seek到離結(jié)尾1000的位置seek(-1000,2),把最后1000個字符讀出來,然后有一個判斷
如果這1000個字符長度大于文件長度,不用管了 屬于級別1的情況,直接read然后split
如果1000個字符里面的換行符大于10,說明1000個字符里,大于10行,那也好辦,處理思路類似級別1,直接split取后面十個
問題就在于 如果小于10怎么處理
比如1000個里,只有四個換行符,說明一行大概是1000/4=250個字符,我們還缺6行,所以我們再讀250*5=1500,一共有2500的大概比較靠譜,然后在對2500個字符進(jìn)行相同的邏輯判斷,直到讀出的字符里,換行符大于10,讀取結(jié)束
邏輯清晰以后,代碼就呼之欲出啦
加上注釋的版本
#!/usr/bin/env python
# -*- coding:utf-8 -*-
import sys
import time
class Tail():
def __init__(self,file_name,callback=sys.stdout.write):
self.file_name = file_name
self.callback = callback
def follow(self,n=10):
try:
# 打開文件
with open(self.file_name) as f:
self._file = f
self._file.seek(0,2)
# 存儲文件的字符長度
self.file_length = self._file.tell()
# 打印最后10行
self.showLastLine(n)
# 持續(xù)讀文件 打印增量
while True:
line = self._file.readline()
if line:
self.callback(line)
time.sleep(1)
except Exception,e:
print '打開文件失敗,囧,看看文件是不是不存在,或者權(quán)限有問題'
print e
def showLastLine(self, n):
# 一行大概100個吧 這個數(shù)改成1或者1000都行
len_line = 100
# n默認(rèn)是10,也可以follow的參數(shù)傳進(jìn)來
read_len = len_line*n
# 用last_lines存儲最后要處理的內(nèi)容
while True:
# 如果要讀取的1000個字符,大于之前存儲的文件長度
# 讀完文件,直接break
if read_len>self.file_length:
self._file.seek(0)
last_lines = self._file.read().split('\n')[-n:]
break
# 先讀1000個 然后判斷1000個字符里換行符的數(shù)量
self._file.seek(-read_len, 2)
last_words = self._file.read(read_len)
# count是換行符的數(shù)量
count = last_words.count('\n')
if count>=n:
# 換行符數(shù)量大于10 很好處理,直接讀取
last_lines = last_words.split('\n')[-n:]
break
# 換行符不夠10個
else:
# break
#不夠十行
# 如果一個換行符也沒有,那么我們就認(rèn)為一行大概是100個
if count==0:
len_perline = read_len
# 如果有4個換行符,我們認(rèn)為每行大概有250個字符
else:
len_perline = read_len/count
# 要讀取的長度變?yōu)?500,繼續(xù)重新判斷
read_len = len_perline * n
for line in last_lines:
self.callback(line+'\n')
if __name__ == '__main__':
py_tail = Tail('test.txt')
py_tail.follow(20)
效果如下,終于可以打印最后幾行了,大家可以試一下,無論日志每行只有1個,還是每行有300個字符,都是可以打印最后10行的
能做到這個地步,一般的面試官就直接被你搞定了,這個代碼大概8分吧,如果還想再進(jìn)一步,還有一些可以優(yōu)化的地方,代碼放github上了,有興趣的可以拿去研究
待優(yōu)化:留給大家作為擴(kuò)展
- 如果你tail -f的過程中,日志被備份清空或者切割了,怎么處理
- 其實(shí)很簡單,你維護(hù)一個指針位置,如果下次循環(huán)發(fā)現(xiàn)文件指針位置變了,從最新的指針位置開始讀就行
- 具體每種錯誤的類型
我這里只是簡單的try 可以寫個函數(shù),把文件不存在,文件沒權(quán)限這些報錯信息分開
性能小優(yōu)化,比如我第一次讀了1000,只有4行,我大概估計(jì)每行250個字符,總體需要2500行,下次沒必要直接讀2500個,而是讀1500行和之前1000行拼起來即可
最后大殺器 如果寫出來這個,基本面試官會直接
打死你
import os
def tail(file_name):
os.system('tail -f '+file_name)
tail('log.log')
總結(jié)
以上所述是小編給大家介紹的python實(shí)現(xiàn)tail -f 功能,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復(fù)大家的。在此也非常感謝大家對腳本之家網(wǎng)站的支持!
如果你覺得本文對你有幫助,歡迎轉(zhuǎn)載,煩請注明出處,謝謝!
相關(guān)文章
python+opencv實(shí)現(xiàn)動態(tài)物體追蹤
這篇文章主要為大家詳細(xì)介紹了python+opencv實(shí)現(xiàn)動態(tài)物體的追蹤,具有一定的參考價值,感興趣的小伙伴們可以參考一下2018-01-01
python實(shí)現(xiàn)逆序輸出一個數(shù)字的示例講解
今天小編就為大家分享一篇python實(shí)現(xiàn)逆序輸出一個數(shù)字的示例講解,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-06-06
Django框架中間件(Middleware)用法實(shí)例分析
這篇文章主要介紹了Django框架中間件(Middleware)用法,結(jié)合實(shí)例形式分析了Django框架中間件(Middleware)的功能、用法及相關(guān)操作技巧,需要的朋友可以參考下2019-05-05
python中print()函數(shù)的“,”與java中System.out.print()函數(shù)中的“+”功能詳解
python中的print()函數(shù)和java中的System.out.print()函數(shù)都有著打印字符串的功能。接下來通過本文給大家分享python中print()函數(shù)的“,”與java中System.out.print()函數(shù)中的“+”功能,需要的朋友參考下吧2017-11-11
解決webdriver.Chrome()報錯:Message:''chromedriver'' executable n
這篇文章主要介紹了解決webdriver.Chrome()報錯:Message:'chromedriver' executable needs to be in Path ,具有一定的參考價值,感興趣的小伙伴們可以參考一下2019-06-06
Python畫圖工具M(jìn)atplotlib庫常用命令簡述
這篇文章主要介紹了Python畫圖Matplotlib庫常用命令簡述總結(jié),文中包含詳細(xì)的圖文示例,有需要的朋友可以借鑒參考下,希望能夠有所幫助2021-09-09

