詳解Python常用標(biāo)準(zhǔn)庫之os模塊與shutil模塊
系統(tǒng)模塊
import os
系統(tǒng)模塊用于對系統(tǒng)進(jìn)行操作。
常用方法
os模塊的常用方法有數(shù)十種之多,本文中只選出最常用的幾種,其余的還有權(quán)限操作、文件的刪除創(chuàng)建等詳細(xì)資料可以參考官方文檔。
system -- 執(zhí)行系統(tǒng)命令
參數(shù)的數(shù)據(jù)類型是字符串格式,內(nèi)容是系統(tǒng)指令。執(zhí)行時(shí),直接返回系統(tǒng)輸出。
import os os.system('ifconfig') # Linux系統(tǒng)shell命令 os.system('ipconfig') # Windows系統(tǒng)dos命令
popen -- 執(zhí)行系統(tǒng)命令
在使用system
執(zhí)行系統(tǒng)命令的時(shí)候,發(fā)現(xiàn)在windows系統(tǒng)下執(zhí)行命令時(shí),中文字符發(fā)生了亂碼!這是因?yàn)閣indows為減少占用,對中文系統(tǒng)使用GB格式編碼,而python中默認(rèn)使用的UTF-8編碼,編碼不兼容導(dǎo)致了亂碼問題。
popen
也可以執(zhí)行系統(tǒng)指令,但是和system
的工作方式不一樣。
popen
執(zhí)行系統(tǒng)指令之后返回對象,通過內(nèi)置方法read
讀出字符串,這個(gè)過程中read
方法自動(dòng)的將其它編碼轉(zhuǎn)換成為了UTF-8格式,所以popen
相比system
有更高的可讀性和兼容性。
而在實(shí)際的使用過程中,發(fā)現(xiàn)popen不存在阻塞,即在執(zhí)行一些長時(shí)間系統(tǒng)任務(wù)的時(shí)候,不會等待系統(tǒng)任務(wù)結(jié)束,python代碼就會繼續(xù)執(zhí)行,在某些場景下會導(dǎo)致問題的出現(xiàn)。比如在我的一個(gè)場景中,要將一個(gè)文件夾中的文件刪除,之后在重寫一份文件,使用popen導(dǎo)致文件還沒有刪除,而代碼繼續(xù)執(zhí)行使新文件已經(jīng)寫好,而這個(gè)時(shí)候popen又將我新寫的文件刪除,導(dǎo)致我的程序在后續(xù)出現(xiàn)bug。所以,如果沒有可讀性的要求,我建議優(yōu)先使用system方法。
import os obj = os.popen('ipconfig') res = obj.read() print(res)
listdir -- 獲取指定文件夾中的所有文件
獲取指定文件夾中的所有文件(包括文件和文件夾),返回文件的名稱,以列表的形式返回,默認(rèn)情況為當(dāng)前路徑。
import os # 默認(rèn)為當(dāng)前路徑 files = os.listdir() print(files) # 相對和絕對路徑都可以使用 files = os.listdir('C:') print(files)
walk -- 遞歸遍歷目錄
遞歸遍歷指定目錄,包括其所有的子目錄,返回一個(gè)迭代器對象。迭代器每次返回一個(gè)元組,元組為三個(gè)元素:
- 第一個(gè)元素為字符串,表示當(dāng)前目錄路徑;
- 第二個(gè)元素為列表,表示當(dāng)前目錄下的所有文件夾名(不包括子目錄中的);
- 第三個(gè)元素為列表,表示當(dāng)前遍歷目錄中的所有文件名(不包括子目錄中的);
主要參數(shù) | 含義 |
---|---|
top | 指定目錄; |
topdown | 正序遍歷還是倒序遍歷,默認(rèn)為True(正序); |
請看下例,目錄結(jié)構(gòu)如下:
import os path = r'C:\Users\MSR\Desktop\test' # 正序遍歷 res = os.walk(path) # 返回迭代器 for i in res: print(i) r""" ('C:\\Users\\MSR\\Desktop\\test', ['1', '2'], ['root.txt']) ('C:\\Users\\MSR\\Desktop\\test\\1', ['111'], ['1.txt']) ('C:\\Users\\MSR\\Desktop\\test\\1\\111', [], ['11.txt']) ('C:\\Users\\MSR\\Desktop\\test\\2', [], ['2.txt']) """ # 倒序遍歷(優(yōu)先展示最深子目錄) res = os.walk(path, topdown=False) for i in res: print(i) r""" ('C:\\Users\\MSR\\Desktop\\test\\1\\111', [], ['11.txt']) ('C:\\Users\\MSR\\Desktop\\test\\1', ['111'], ['1.txt']) ('C:\\Users\\MSR\\Desktop\\test\\2', [], ['2.txt']) ('C:\\Users\\MSR\\Desktop\\test', ['1', '2'], ['root.txt']) """
getcwd -- 獲取當(dāng)前工作路徑
import os # 獲取當(dāng)前的工作路徑 dir_path = os.getcwd() print(dir_path) # E:\0-project\python\test # 獲取當(dāng)前文件的路徑 file_path = __file__ # 使用內(nèi)置屬性__file__獲取 print(file_path) # E:/0-project/python/test/test3.py
注意:getcwd()獲取的使用當(dāng)前工作路徑,__file__是獲取當(dāng)前文件的路徑。
對于這個(gè)注意事項(xiàng),大家一定要銘記于心,因?yàn)槲冶蝗似垓_了,當(dāng)然這應(yīng)該算是pycharm的坑吧!
注意了,文件的所在路徑和工作路徑是不相同的,文件的所在路徑就是在系統(tǒng)中的這個(gè)腳本文件實(shí)實(shí)在在的地址,如果這個(gè)文件在C:\
下,那么在任何的情況下這個(gè)文件的所在路徑都是C:\
;而工作路徑不同,如果我們在C:\
下執(zhí)行這個(gè)python文件,那么我們的工作路徑就是C:\
,如果我們是在D:\
下執(zhí)行,那么我們的工作路徑就是D:\
,這就是文件所在地址和工作地址的區(qū)別,但是在一般情況下,我們執(zhí)行文件都是在文件的所在地址執(zhí)行的,所以大部分的時(shí)候文件所在路徑和當(dāng)前工作路徑都是相同的。
可我在最開始學(xué)習(xí)這個(gè)方法的時(shí)候,我的老師教我說getcwd()
的作用是獲取文件的所在路徑,那么是什么讓我一直以為getcwd()
的作用是獲取文件的所在路徑呢?是老師教給我的……感覺這個(gè)老師很不靠譜?那么老師怎么沒有發(fā)現(xiàn)其中的含義呢?我怎么又一直深信不疑呢?我覺得這個(gè)一定是要pycharm來背鍋了!我們在學(xué)習(xí)的時(shí)候一般都是相信自己的實(shí)際操作的結(jié)果的,我們執(zhí)行的結(jié)果是什么,反復(fù)那么幾次,我們的印象就會加深!
然后今天2021年12月7日20:58:09
我在給公司的項(xiàng)目寫一個(gè)啟動(dòng)腳本,目的是為了避免使用繁瑣的命令去啟動(dòng)關(guān)閉項(xiàng)目,那么我在寫的時(shí)候?yàn)榱四軌蛟谙到y(tǒng)的任何一個(gè)地方都是可以使用這個(gè)腳本,所以將命令中的各種路徑全部寫為絕對路徑,我們系統(tǒng)工程師對絕對路徑是非常熟練的!但是在我寫好使用的時(shí)候就發(fā)現(xiàn)程序根本就啟動(dòng)不起來,已啟動(dòng)就死掉了,我就開始找原因,后來我發(fā)現(xiàn)在程序的目錄下啟動(dòng)就沒有問題,在其它的地址啟動(dòng)就有問題,我就意識到這是路徑的錯(cuò)誤。當(dāng)然我們是有日志的,我看日志說是配置文件相關(guān)的地方出現(xiàn)了錯(cuò)誤,我一看,就很好奇,配置文件是在程序的目錄中的,讀取的時(shí)候使用相對路徑來獲取,但是卻沒有讀到文件,但是我檢查之后文件是存在的!那么這個(gè)問題就很明顯了,工作路徑出了問題。
但是我還疑惑,為什么會影響到相對路徑嗎?然后我就測試了getcwd,發(fā)現(xiàn)果然如此,getcwd返回的不是文件的所在地址而是當(dāng)前所在的工作地址,這個(gè)時(shí)候我還不死心,因?yàn)楫?dāng)時(shí)老師說的不是這樣,所以我以為是linux和windows的差異,所以我就咋愛windows中又測試了一遍,發(fā)現(xiàn)還是一樣的。那么我就又疑惑了,怎么在pycharm中,工作路徑始終都是文件的所在路徑呢?然后我就發(fā)現(xiàn)原來pycharm中可以指定文件的工作路徑,而且默認(rèn)將當(dāng)前的文件路徑作為工作路徑使用。
然后我看文檔介紹:Return a unicode string representing the current working directory.
,emmm估計(jì)當(dāng)時(shí)老師也是被pycharm坑了吧。所以大家以后如果想要在程序中固定工作路徑,可以在啟動(dòng)文件中使用__file__
獲取,或者使用os.chdir
方法。
然后最后還是在強(qiáng)調(diào)一下:工作路徑會影響到相對路徑的使用,但是不會影響到sys.path
python的環(huán)境變量。
chdir -- 修改當(dāng)前工作路徑
之前我們有學(xué)過很多的函數(shù),他們在涉及到路徑的時(shí)候,一般默認(rèn)情況都是當(dāng)前腳本文件所在的目錄(比如剛才的listdir
、getcwd
),如果將文件的默認(rèn)工作路徑修改,就會影響到其它的一些功能,比如說我們導(dǎo)入文件使用相對路徑等,所以,謹(jǐn)慎使用。
import os # 在修改默認(rèn)工作路徑前使用 print(os.getcwd()) # E:\0-project\python\test # chdir 修改當(dāng)前文件工作的默認(rèn)路徑 os.chdir('C:') # 在修改工作路徑后使用 print(os.getcwd()) # C:\
access -- 測試權(quán)限
用于測試一個(gè)指定路徑或者文件的權(quán)限,返回True或者False。
語法:os.access(path, mode)
必要參數(shù)為path和mode,分別表示路徑和測試的權(quán)限類型。
mode | 說明 |
---|---|
os.F_OK | 是否存在; |
os.R_OK | 是否可讀; |
os.W_OK | 是否可寫; |
os.X_OK | 是否可執(zhí)行; |
urandom -- 隨機(jī)字節(jié)對象
返回包含適合加密使用的隨機(jī)字節(jié)的bytes對象。
import os # 參數(shù)為字節(jié)長度 key = os.urandom(1) print(key, len(key)) # b'\x92' 1 key = os.urandom(5) print(key, len(key)) # b'\xde\x05/lh' 5
getpid&getppid -- 獲取進(jìn)程和父進(jìn)程
getpid
用于返回當(dāng)前程序(腳本文件)的進(jìn)程ID,getppid
用于返回當(dāng)前程序(腳本文件)的父進(jìn)程ID。
# 獲取進(jìn)程唯一ID(PID) import os # getpid 返回當(dāng)前進(jìn)程的ID print(os.getpid()) # 10784 # getppid 返回父進(jìn)程的ID # 如果父進(jìn)程已退出,Windows計(jì)算機(jī)仍將運(yùn)行返回其id;其他系統(tǒng)將返回“init”進(jìn)程的id; print(os.getppid()) # 16468
cpu_count -- 獲取CPU核心數(shù)(邏輯)
import os print(os.cpu_count()) """ 結(jié)果: 8 """
常用屬性
enciron -- 操作環(huán)境變量
import os # 獲取系統(tǒng)的所有環(huán)境變量 ev_var = os.environ print(ev_var) # 獲取系統(tǒng)指定的環(huán)境變量 path_ev_var = os.environ['PATH'] print(path_ev_var) # 添加環(huán)境變量 os.environ['PATH'] += r':/home/msr' # Linux使用冒號分隔 os.environ['PATH'] += r';C:\Users\MSR' # Windows使用分號分隔 # 其實(shí)可以看到,環(huán)境變量其實(shí)就是一個(gè)特殊的字典,修改環(huán)境變量就是在操作一個(gè)字典數(shù)據(jù)而已
name & sep & linesep
import os # name 獲取系統(tǒng)標(biāo)識(Linux ->posix windows -> nt) print(os.name) # nt # sep 獲取路徑分隔符號 print(os.sep) # \ # linesep 獲取系統(tǒng)的換行符號 print(repr(os.linesep)) # '\r\n'
文件操作
mknod & remove -- 新建&刪除文件
windows系統(tǒng)不支持此方法。
import os os.mknod('test.txt') os.remove('test.txt')
mkdir & rmdir -- 創(chuàng)建&刪除文件夾
import os os.mkdir('test_dir') os.rmdir('test_dir')
rename -- 重命名文件或文件夾
語法:rename(old_path, new_path)
import os os.rename('test.txt', 'hahaha.txt')
makedirs & removedirs -- 迭代創(chuàng)建&刪除文件夾
import os # 迭代創(chuàng)建文件夾 os.makedirs('a/b/c/d/e') # 迭代刪除文件夾(文件夾中存在文件,則該文件夾不刪除) os.removedirs('a/b/c/d/e')
路徑模塊
import os.path
路徑模塊也是系統(tǒng)模塊中的一部分。
basename -- 返回路徑中的文件名部分
import os.path # 該路徑不一定真實(shí)存在 file_path = r'..\學(xué)習(xí)筆記\day1筆記.py' file_name = os.path.basename(file_path) print(file_name) # day1筆記.py
dirname -- 返回路徑中目錄部分
import os.path file_path = r'..\學(xué)習(xí)筆記\day1筆記.py' dir_path = os.path.dirname(file_path) print(dir_path) # ..\學(xué)習(xí)筆記
split -- 將目錄和文件名拆分成兩部分
import os.path file_path = r'..\學(xué)習(xí)筆記\day1筆記.py' tuple_var = os.path.split(file_path) print(tuple_var) # ('..\\學(xué)習(xí)筆記', 'day1筆記.py') print(type(tuple_var)) # 返回元組: <class 'tuple'>
join -- 將多個(gè)路徑組合在一起
import os.path path1 = 'abc' path2 = '123' path3 = 'main.py' # 使用join組合 path = os.path.join(path1, path2, path3) print(path) # abc\123\main.py # 也可以使用 os.sep path = path1 + os.sep + path2 + os.sep + path3 print(path) # abc\123\main.py
splitext -- 將文件名分為文件名和后綴名
import os.path # 分開文件名 file_name = 'main.py' res = os.path.splitext(file_name) print(res) # ('main', '.py') print(type(res)) # <class 'tuple'> # 分來完整路徑 file_path = r'..\學(xué)習(xí)筆記\day1筆記.py' res = os.path.splitext(file_path) print(res) # ('..\\學(xué)習(xí)筆記\\day1筆記', '.py') print(type(res)) # <class 'tuple'> # 也可以使用字符串內(nèi)置方法 split 實(shí)現(xiàn) res = file_path.split('.') print(res) # ['', '', '\\學(xué)習(xí)筆記\\day1筆記', 'py'] print(type(res)) # <class 'list'>
getsize -- 獲取指定文件的大小
import os.path # 獲取指定文件的大?。▎挝唬篵yte) file_size_byte = os.path.getsize('test.txt')
getctime -- 獲取文件的創(chuàng)建時(shí)間
獲取文件的創(chuàng)建時(shí)間,返回時(shí)間戳。(windows有明確的創(chuàng)建時(shí)間,linux只有最后一次的修改時(shí)間。)
import os.path import time # 獲取文件創(chuàng)建時(shí)間 stamp_time = os.path.getctime('./test.py') print(stamp_time) # 1613989768.3445127 # 配合 時(shí)間模塊使用 獲取時(shí)間 print(time.ctime(stamp_time)) # Mon Feb 22 18:29:28 2021
getmtime -- 獲取文件的最后一次修改時(shí)間
import os.path import time # 獲取文件最后一次修改時(shí)間 stamp_time = os.path.getmtime('./test.py') print(stamp_time) # 1614037683.1067748 # 配合 時(shí)間模塊使用 獲取時(shí)間 print(time.ctime(stamp_time)) # Tue Feb 23 07:48:03 2021
getatime -- 獲取文件最后一次訪問時(shí)間
import os.path import time # 獲取文件最后一次訪問時(shí)間 stamp_time = os.path.getatime('./test.py') print(stamp_time) # 1635590737.799415 # 配合 時(shí)間模塊使用 獲取時(shí)間 print(time.ctime(stamp_time)) # Sat Oct 30 18:45:37 2021
isdir & isfile & islink -- 檢查路徑類型
不檢查路徑是否真實(shí)存在。
import os.path # 檢查路徑類型,返回布爾值: # 不是對應(yīng)類型或沒有相應(yīng)文件 : False # 是對應(yīng)類型:True # isdir 檢查路徑是否是文件夾 res = os.path.isdir('test.txt') # isfile 檢查路徑是否是文件 res = os.path.isfile('test.txt') # islink 檢查路徑是否是鏈接 res = os.path.islink('test.txt')
isabs -- 檢查路徑是否是絕對路徑
不檢查路徑是否真實(shí)存在
import os.path # 檢查windows路徑 path = r'E:\小黃片' res = os.path.isabs(path) print(res) # True # windows系統(tǒng)檢查Linux路徑 path = r'/root/home' res = os.path.isabs(path) print(res) # True
abspath -- 相對路徑轉(zhuǎn)成絕對路徑
先檢查一個(gè)路徑是否是相對路徑,是則將其轉(zhuǎn)成絕對路徑,反之不變。
轉(zhuǎn)成絕對路徑的規(guī)則是:以當(dāng)前的工作路徑為基準(zhǔn),根據(jù)相對路徑中的相對級別,將對應(yīng)級別的工作路徑替換為原路徑中的相對路徑。
不檢查路徑是否真實(shí)存在。
import os.path # 絕對路徑不改變 path = r'E:\學(xué)習(xí)資料' new_path = os.path.abspath(path) print(new_path) # E:\學(xué)習(xí)資料 # 相對路徑轉(zhuǎn)成絕對路徑 path = r'..\學(xué)習(xí)資料' new_path = os.path.abspath(path) print(new_path) # E:\0-project\python\學(xué)習(xí)資料 # 根據(jù)級別自動(dòng)轉(zhuǎn)換 path = r'..\..\學(xué)習(xí)資料' new_path = os.path.abspath(path) print(new_path) # E:\0-project\學(xué)習(xí)資料 # 如果相對的級別過多,就以根目錄為準(zhǔn)(不會報(bào)錯(cuò)) path = r'..\..\..\..\..\..\..\..\..\..\學(xué)習(xí)資料' new_path = os.path.abspath(path) print(new_path) # E:\學(xué)習(xí)資料
exists -- 檢查路徑是否真實(shí)存在
檢查路徑是否真實(shí)存在,返回布爾值。
import os.path # 檢查指定路徑是否存在 path = r'E:\小黃片' res = os.path.exists(path) print(res) # False
文件復(fù)制移動(dòng)模塊(文件操作)
import shutil
用于對文件進(jìn)行操作。
獲取文件信息,獲取文件信息,見系統(tǒng)模塊。
copyfileobj -- 復(fù)制文件(內(nèi)容)
只復(fù)制文件的內(nèi)容,通過文件IO操作,將一個(gè)文件的對象復(fù)制到另一個(gè)文件對象當(dāng)中,因?yàn)樾枰谖募蘒O對象中操作,所以不推薦使用。
語法:copyfileobj(fsrc, fdst, length=16*1024)
copyfileobj(被復(fù)制文件對象,新文件對象,一次性讀取字符數(shù)量。)
import shutil with open('test.txt', 'r', encoding='UTF-8') as fp1 : with open('test2.txt', 'w', encoding='UTF-8') as fp2 : shutil.copyfileobj(fp1, fp2)
copyfile -- 復(fù)制文件(內(nèi)容)
底層調(diào)用copyfileobj
,使用方便快捷,所以推薦使用。
語法:copyfile(被復(fù)制文件路徑, 新文件路徑)
import shutil shutil.copyfile('test.txt', 'test2.txt')
copymode -- 復(fù)制文件(權(quán)限)
僅復(fù)制文件的權(quán)限,不復(fù)制文件的內(nèi)容(被賦值權(quán)限的文件必須存在),語法和copyfile
相同。
import shutil shutil.copymode('test.txt', 'test.txt')
copystat -- 復(fù)制文件(除了內(nèi)容)
復(fù)制文件的所有的狀態(tài)信息,包括各種日期、權(quán)限……就是沒有內(nèi)容。
import shutil shutil.copystat('test.txt', 'test.txt')
copy & copy2 -- 復(fù)制文件
import shutil # 復(fù)制文件內(nèi)容和權(quán)限 shutil.copy('test.txt', 'test.txt') # 完整復(fù)制整個(gè)文件(包括狀態(tài)、權(quán)限、內(nèi)容……) shutil.copy2('test.txt', 'test.txt')
copytree -- 迭代復(fù)制文件夾中的所有
import shutil shutil.copytree('../學(xué)習(xí)筆記', '../學(xué)習(xí)筆記備份')
rmtree -- 迭代刪除文件夾(即使文件夾中有文件)
import shutil shutil.rmtree('..\小黃片')
move -- 移動(dòng)文件或文件夾
import shutil shutil.move('D:\學(xué)習(xí)資料', 'C:\我的心血')
以上就是詳解Python常用標(biāo)準(zhǔn)庫之os模塊與shutil模塊的詳細(xì)內(nèi)容,更多關(guān)于Python os模塊 shutil模塊的資料請關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
Python中函數(shù)的參數(shù)傳遞與可變長參數(shù)介紹
這篇文章主要介紹了Python中函數(shù)的參數(shù)傳遞與可變長參數(shù)介紹,本文分別給出多個(gè)代碼實(shí)例來講解多種多樣的函數(shù)參數(shù),需要的朋友可以參考下2015-06-06python編寫WAF與Sqlmap結(jié)合實(shí)現(xiàn)指紋探測
這篇文章主要為大家介紹了python編寫WAF指紋探測并與Sqlmap結(jié)合的示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2022-05-05Python入門之實(shí)例方法、類方法和靜態(tài)方法的區(qū)別講解
這篇文章主要介紹了Python入門之實(shí)例方法、類方法和靜態(tài)方法的區(qū)別講解,實(shí)例方法是在創(chuàng)建了類的實(shí)例之后才能被調(diào)用的方法,類方法是在不需要?jiǎng)?chuàng)建類的實(shí)例的情況下就可以調(diào)用的方法,最后,靜態(tài)方法是與類和類的實(shí)例都沒有綁定關(guān)系的方法,需要的朋友可以參考下2023-10-10python selenium操作cookie的實(shí)現(xiàn)
這篇文章主要介紹了python selenium操作cookie的實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-03-03Numpy之random函數(shù)使用學(xué)習(xí)
這篇文章主要介紹了Numpy之random使用學(xué)習(xí),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-01-01使用python svm實(shí)現(xiàn)直接可用的手寫數(shù)字識別
這篇文章主要介紹了使用python svm實(shí)現(xiàn)直接可用的手寫數(shù)字識別,現(xiàn)在網(wǎng)上很多代碼是良莠不齊,真是一言難盡,于是記錄一下,能夠運(yùn)行成功并識別成功的一個(gè)源碼2021-08-08