python 使用fileinput讀取文件
fileinput 是 Python 的內(nèi)置模塊，但我相信，不少人對(duì)它都是陌生的。今天我把 fileinput 的所有的用法、功能進(jìn)行詳細(xì)的講解，并列舉了一些非常實(shí)用的案例，對(duì)于理解和使用它可以說(shuō)完全沒(méi)有問(wèn)題。
1. 從標(biāo)準(zhǔn)輸入中讀取
當(dāng)你的 Python 腳本沒(méi)有傳入任何參數(shù)時(shí)，fileinput 默認(rèn)會(huì)以 stdin 作為輸入源
# demo.py import fileinput for line in fileinput.input(): print(line)
效果如下，不管你輸入什么，程序會(huì)自動(dòng)讀取并再打印一次，像個(gè)復(fù)讀機(jī)似的。
$ python demo.py hello hello python python
2. 單獨(dú)打開(kāi)一個(gè)文件
單獨(dú)打開(kāi)一個(gè)文件，只需要在 files 中輸入一個(gè)文件名即可
import fileinput
with fileinput.input(files=('a.txt',)) as file:
for line in file:
print(f'{fileinput.filename()} 第{fileinput.lineno()}行: {line}', end='')
其中 a.txt 的內(nèi)容如下
hello world
執(zhí)行后就會(huì)輸出如下
$ python demo.py a.txt 第1行: hello a.txt 第2行: world
需要說(shuō)明的一點(diǎn)是，fileinput.input() 默認(rèn)使用 mode='r' 的模式讀取文件，如果你的文件是二進(jìn)制的，可以使用mode='rb' 模式。fileinput 有且僅有這兩種讀取模式。
3. 批量打開(kāi)多個(gè)文件
從上面的例子也可以看到，我在 fileinput.input 函數(shù)中傳入了 files 參數(shù)，它接收一個(gè)包含多個(gè)文件名的列表或元組，傳入一個(gè)就是讀取一個(gè)文件，傳入多件就是讀取多個(gè)文件。
import fileinput
with fileinput.input(files=('a.txt', 'b.txt')) as file:
for line in file:
print(f'{fileinput.filename()} 第{fileinput.lineno()}行: {line}', end='')
a.txt 和 b.txt 的內(nèi)容分別是
$ cat a.txt hello world $ cat b.txt hello python
運(yùn)行后輸出結(jié)果如下，由于 a.txt 和 b.txt 的內(nèi)容被整合成一個(gè)文件對(duì)象 file ，因此 fileinput.lineno() 只有在讀取一個(gè)文件時(shí)，才是原文件中真實(shí)的行號(hào)。
$ python demo.py a.txt 第1行: hello a.txt 第2行: world b.txt 第3行: hello b.txt 第4行: python
如果想要在讀取多個(gè)文件的時(shí)候，也能讀取原文件的真實(shí)行號(hào)，可以使用 fileinput.filelineno() 方法
import fileinput
with fileinput.input(files=('a.txt', 'b.txt')) as file:
for line in file:
print(f'{fileinput.filename()} 第{fileinput.filelineno()}行: {line}', end='')
運(yùn)行后，輸出如下
$ python demo.py a.txt 第1行: hello a.txt 第2行: world b.txt 第1行: hello b.txt 第2行: python
這個(gè)用法和 glob 模塊簡(jiǎn)直是絕配
import fileinput
import glob
for line in fileinput.input(glob.glob("*.txt")):
if fileinput.isfirstline():
print('-'*20, f'Reading {fileinput.filename()}...', '-'*20)
print(str(fileinput.lineno()) + ': ' + line.upper(), end="")
運(yùn)行效果如下
$ python demo.py -------------------- Reading b.txt... -------------------- 1: HELLO 2: PYTHON -------------------- Reading a.txt... -------------------- 3: HELLO 4: WORLD
4. 讀取的同時(shí)備份文件
fileinput.input 有一個(gè) backup 參數(shù)，你可以指定備份的后綴名，比如 .bak
import fileinput
with fileinput.input(files=("a.txt",), backup=".bak") as file:
for line in file:
print(f'{fileinput.filename()} 第{fileinput.lineno()}行: {line}', end='')
運(yùn)行的結(jié)果如下，會(huì)多出一個(gè) a.txt.bak 文件
$ ls -l a.txt* -rw-r--r-- 1 MING staff 12 2 27 10:43 a.txt $ python demo.py a.txt 第1行: hello a.txt 第2行: world $ ls -l a.txt* -rw-r--r-- 1 MING staff 12 2 27 10:43 a.txt -rw-r--r-- 1 MING staff 42 2 27 10:39 a.txt.bak
5. 標(biāo)準(zhǔn)輸出重定向替換
fileinput.input 有一個(gè) inplace 參數(shù)，表示是否將標(biāo)準(zhǔn)輸出的結(jié)果寫(xiě)回文件，默認(rèn)不取代
請(qǐng)看如下一段測(cè)試代碼
import fileinput
with fileinput.input(files=("a.txt",), inplace=True) as file:
print("[INFO] task is started...")
for line in file:
print(f'{fileinput.filename()} 第{fileinput.lineno()}行: {line}', end='')
print("[INFO] task is closed...")
運(yùn)行后，會(huì)發(fā)現(xiàn)在 for 循環(huán)體內(nèi)的 print 內(nèi)容會(huì)寫(xiě)回到原文件中了。而在 for 循環(huán)體外的 print 則沒(méi)有變化。
$ cat a.txt hello world $ python demo.py [INFO] task is started... [INFO] task is closed... $ cat a.txt a.txt 第1行: hello a.txt 第2行: world
利用這個(gè)機(jī)制，可以很容易的實(shí)現(xiàn)文本替換。
import sys
import fileinput
for line in fileinput.input(files=('a.txt', ), inplace=True):
#將Windows/DOS格式下的文本文件轉(zhuǎn)為L(zhǎng)inux的文件
if line[-2:] == "\r\n":
line = line + "\n"
sys.stdout.write(line)
附：如何實(shí)現(xiàn) DOS 和 UNIX 格式互換以供程序測(cè)試，使用 vim 輸入如下指令即可
DOS轉(zhuǎn)UNIX：:setfileformat=unix UNIX轉(zhuǎn)DOS：:setfileformat=dos
6. 不得不介紹的方法
如果只是想要 fileinput 當(dāng)做是替代 open 讀取文件的工具，那么以上的內(nèi)容足以滿足你的要求。
- fileinput.filenam()
返回當(dāng)前被讀取的文件名。在第一行被讀取之前，返回 None。
- fileinput.fileno()
返回以整數(shù)表示的當(dāng)前文件“文件描述符”。當(dāng)未打開(kāi)文件時(shí)（處在第一行和文件之間），返回 -1。
- fileinput.lineno()
返回已被讀取的累計(jì)行號(hào)。在第一行被讀取之前，返回 0。在最后一個(gè)文件的最后一行被讀取之后，返回該行的行號(hào)。
- fileinput.filelineno()
返回當(dāng)前文件中的行號(hào)。在第一行被讀取之前，返回 0。在最后一個(gè)文件的最后一行被讀取之后，返回此文件中該行的行號(hào)。
但若要想基于 fileinput 來(lái)做一些更加復(fù)雜的邏輯，也許你會(huì)需要用到如下這幾個(gè)方法
- fileinput.isfirstline()
如果剛讀取的行是其所在文件的第一行則返回 True，否則返回 False。
- fileinput.isstdin()
如果最后讀取的行來(lái)自 sys.stdin 則返回 True，否則返回 False。
- fileinput.nextfile()
關(guān)閉當(dāng)前文件以使下次迭代將從下一個(gè)文件（如果存在）讀取第一行；不是從該文件讀取的行將不會(huì)被計(jì)入累計(jì)行數(shù)。直到下一個(gè)文件的第一行被讀取之后文件名才會(huì)改變。在第一行被讀取之前，此函數(shù)將不會(huì)生效；它不能被用來(lái)跳過(guò)第一個(gè)文件。在最后一個(gè)文件的最后一行被讀取之后，此函數(shù)將不再生效。
- fileinput.close()
關(guān)閉序列。
7. 進(jìn)階一點(diǎn)的玩法
在 fileinput.input() 中有一個(gè) openhook 的參數(shù)，它支持用戶傳入自定義的對(duì)象讀取方法。
若你沒(méi)有傳入任何的勾子，fileinput 默認(rèn)使用的是 open 函數(shù)。
fileinput 為我們內(nèi)置了兩種勾子供你使用
- fileinput.hook_compressed(*filename*, *mode*)
使用 gzip 和 bz2 模塊透明地打開(kāi) gzip 和 bzip2 壓縮的文件（通過(guò)擴(kuò)展名 '.gz' 和 '.bz2' 來(lái)識(shí)別）。如果文件擴(kuò)展名不是 '.gz' 或 '.bz2'，文件會(huì)以正常方式打開(kāi)（即使用 open() 并且不帶任何解壓操作）。使用示例: fi = fileinput.FileInput(openhook=fileinput.hook_compressed)
- fileinput.hook_encoded(*encoding*, *errors=None*)
返回一個(gè)通過(guò) open() 打開(kāi)每個(gè)文件的鉤子，使用給定的 encoding 和 errors 來(lái)讀取文件。使用示例: fi = fileinput.FileInput(openhook=fileinput.hook_encoded("utf-8", "surrogateescape"))
如果你自己的場(chǎng)景比較特殊，以上的三種勾子都不能滿足你的要求，你也可以自定義。
這邊我舉個(gè)例子來(lái)拋磚引玉下
假如我想要使用 fileinput 來(lái)讀取網(wǎng)絡(luò)上的文件，可以這樣定義勾子。
- 先使用 requests 下載文件到本地
- 再使用 open 去讀取它
def online_open(url, mode):
import requests
r = requests.get(url)
filename = url.split("/")[-1]
with open(filename,'w') as f1:
f1.write(r.content.decode("utf-8"))
f2 = open(filename,'r')
return f2
直接將這個(gè)函數(shù)傳給 openhook 即可
import fileinput file_url = 'https://www.csdn.net/robots.txt' with fileinput.input(files=(file_url,), openhook=online_open) as file: for line in file: print(line, end="")
運(yùn)行后按預(yù)期一樣將 CSDN 的 robots 的文件打印了出來(lái)
User-agent: * Disallow: /scripts Disallow: /public Disallow: /css/ Disallow: /images/ Disallow: /content/ Disallow: /ui/ Disallow: /js/ Disallow: /scripts/ Disallow: /article_preview.html* Disallow: /tag/ Disallow: /*?* Disallow: /link/ Sitemap: https://www.csdn.net/sitemap-aggpage-index.xml Sitemap: https://www.csdn.net/article/sitemap.txt
8. 列舉一些實(shí)用案例
案例一：讀取一個(gè)文件所有行
import fileinput
for line in fileinput.input('data.txt'):
print(line, end="")
案例二：讀取多個(gè)文件所有行
import fileinput
import glob
for line in fileinput.input(glob.glob("*.txt")):
if fileinput.isfirstline():
print('-'*20, f'Reading {fileinput.filename()}...', '-'*20)
print(str(fileinput.lineno()) + ': ' + line.upper(), end="")
案例三：利用fileinput將CRLF文件轉(zhuǎn)為L(zhǎng)F
import sys
import fileinput
for line in fileinput.input(files=('a.txt', ), inplace=True):
#將Windows/DOS格式下的文本文件轉(zhuǎn)為L(zhǎng)inux的文件
if line[-2:] == "\r\n":
line = line + "\n"
sys.stdout.write(line)
案例四：配合 re 做日志分析：取所有含日期的行
#--樣本文件--：error.log
aaa
1970-01-01 13:45:30 Error: **** Due to System Disk spacke not enough...
bbb
1970-01-02 10:20:30 Error: **** Due to System Out of Memory...
ccc
#---測(cè)試腳本---
import re
import fileinput
import sys
pattern = '\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}'
for line in fileinput.input('error.log',backup='.bak',inplace=1):
if re.search(pattern,line):
sys.stdout.write("=> ")
sys.stdout.write(line)
#---測(cè)試結(jié)果---
=> 1970-01-01 13:45:30 Error: **** Due to System Disk spacke not enough...
=> 1970-01-02 10:20:30 Error: **** Due to System Out of Memory...
案例五：利用fileinput實(shí)現(xiàn)類似于grep的功能
import sys import re import fileinput pattern= re.compile(sys.argv[1]) for line in fileinput.input(sys.argv[2]): if pattern.match(line): print(fileinput.filename(), fileinput.filelineno(), line) $ ./demo.py import.*re *.py #查找所有py文件中，含import re字樣的 addressBook.py 2 import re addressBook1.py 10 import re addressBook2.py 18 import re test.py 238 import re
9. 寫(xiě)在最后
fileinput 是對(duì) open 函數(shù)的再次封裝，在僅需讀取數(shù)據(jù)的場(chǎng)景中， fileinput 顯然比 open 做得更專業(yè)、更人性，當(dāng)然在其他有寫(xiě)操作的復(fù)雜場(chǎng)景中，fileinput 就無(wú)能為力啦，本身從 fileinput 的命名上就知道這個(gè)模塊只專注于輸入（讀）而不是輸出（寫(xiě)）。
以上就是python 使用fileinput讀取文件的詳細(xì)內(nèi)容，更多關(guān)于python 用fileinput讀取文件的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
Python如何使用xlrd和xlwt庫(kù)讀寫(xiě)excel文件
這篇文章主要介紹了Python如何使用xlrd和xlwt庫(kù)讀寫(xiě)excel文件問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-02-02
今天小編就為大家分享一篇kali中python版本的切換方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-07-07
Python 調(diào)用 C++ 傳遞numpy 數(shù)據(jù)詳情
這篇文章主要介紹了Python 調(diào)用 C++ 傳遞numpy 數(shù)據(jù)詳情，文章主要分為兩部分，c++代碼和python代碼，代碼分享詳細(xì)，需要的小伙伴可以參考一下，希望對(duì)你有所幫助2022-03-03
很多朋友一直使用pip list來(lái)查詢,但如果想知道單個(gè),應(yīng)該怎么使用呢,在Python中,可以使用多種方法來(lái)查看已安裝包的版本號(hào),本文給大家詳細(xì)介紹了Python查看已安裝包的版本號(hào)的多種方法,需要的朋友可以參考下2024-02-02
python使用JSON模塊進(jìn)行數(shù)據(jù)處理(編碼解碼)
這篇文章主要為大家介紹了python使用JSON模塊進(jìn)行數(shù)據(jù)處理編碼解碼的使用詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-06-06
Diango + uwsgi + nginx項(xiàng)目部署的全過(guò)程（可外網(wǎng)訪問(wèn)）
這篇文章主要給大家介紹了關(guān)于Diango + uwsgi + nginx項(xiàng)目部署的全過(guò)程（可外網(wǎng)訪問(wèn)），文中通過(guò)示例代碼將部署的過(guò)程介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧。2018-04-04
處理字符串時(shí)經(jīng)常要定制化去掉無(wú)用的空格,python 中要么用存在的常規(guī)方法,或者用正則處理,下面這篇文章主要給大家介紹了python去掉空格的一些常用方式,文中通過(guò)實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-01-01
python 實(shí)現(xiàn)的發(fā)送郵件模板【普通郵件、帶附件、帶圖片郵件】
這篇文章主要介紹了python 實(shí)現(xiàn)的發(fā)送郵件模板,包含Python發(fā)送普通郵件、帶附件及帶圖片郵件相關(guān)實(shí)現(xiàn)技巧,需要的朋友可以參考下2019-07-07
Python工程師面試題 與Python Web相關(guān)
這篇文章主要為大家分享了Python工程師面試題，面試題的內(nèi)容主要與Python Web相關(guān)，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2016-01-01
Python中eval()函數(shù)的詳細(xì)使用教程
eval函數(shù)在Python中具有非常重要的地位,熟練的使用eval函數(shù)能夠?yàn)槲覀兊腜ython編程提供很多的便利之處,下面這篇文章主要給大家介紹了關(guān)于Python中eval()函數(shù)的詳細(xì)使用,需要的朋友可以參考下2022-07-07