Python 寫(xiě)入訓(xùn)練日志文件并控制臺(tái)輸出解析
1. 背景
在深度學(xué)習(xí)的任務(wù)中，通常需要比較長(zhǎng)時(shí)間的訓(xùn)練，因此我們會(huì)選擇離開(kāi)電腦。筆者在跟蹤模型表現(xiàn)，
觀察模型accuracy 以及 loss 的時(shí)候，比較傳統(tǒng)的方法是在控制臺(tái)print輸出或者直接使用tensorboard。
但如果是你需要遠(yuǎn)程觀察模型表現(xiàn)，那一個(gè)時(shí)刻記錄的log 文件就非常重要。
（如果你希望不在實(shí)驗(yàn)室，遠(yuǎn)程通過(guò)訪問(wèn)正在訓(xùn)練網(wǎng)絡(luò)的服務(wù)器的Jupyter Notebook ，實(shí)時(shí)查看實(shí)驗(yàn)進(jìn)度。請(qǐng)參考——遠(yuǎn)程連接服務(wù)器端Jupyter Notebook）
2. logging 函數(shù)
創(chuàng)建 .log 文件并將一些數(shù)據(jù)在控制臺(tái)輸出可以通過(guò)logging 函數(shù)實(shí)現(xiàn)。
廢話不多，直接貼代碼：一下函數(shù)可以在你想要保存日志文件的路徑——output_dir下生成一個(gè).log 文件，文件名以年.月.日.時(shí).分命名，以免重復(fù)。
import logging
import time
import os
def log_creater(output_dir):
if not os.path.exists(output_dir):
os.makedirs(output_dir)
log_name = '{}.log'.format(time.strftime('%Y-%m-%d-%H-%M'))
final_log_file = os.path.join(output_dir,log_name)
# creat a log
log = logging.getLogger('train_log')
log.setLevel(logging.DEBUG)
# FileHandler
file = logging.FileHandler(final_log_file)
file.setLevel(logging.DEBUG)
# StreamHandler
stream = logging.StreamHandler()
stream.setLevel(logging.DEBUG)
# Formatter
formatter = logging.Formatter(
'[%(asctime)s][line: %(lineno)d] ==> %(message)s')
# setFormatter
file.setFormatter(formatter)
stream.setFormatter(formatter)
# addHandler
log.addHandler(file)
log.addHandler(stream)
log.info('creating {}'.format(final_log_file))
return log
3. 結(jié)果
保存后的日志文件差不多就是這樣：
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了FFrpc python客戶端lib使用解析,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-08-08
用Python實(shí)現(xiàn)zip密碼破解實(shí)例
大家好，本篇文章主要講的是用Python實(shí)現(xiàn)zip密碼破解實(shí)例，感興趣的同學(xué)趕快來(lái)看一看吧，對(duì)你有幫助的話記得收藏一下2022-01-01
pytorch中的hook機(jī)制register_forward_hook
這篇文章主要介紹了pytorch中的hook機(jī)制register_forward_hook，手動(dòng)在forward之前注冊(cè)hook，hook在forward執(zhí)行以后被自動(dòng)執(zhí)行，下面詳細(xì)的內(nèi)容介紹，需要的小伙伴可以參考一下2022-03-03
Python繪圖Turtle庫(kù)的安裝問(wèn)題解決
這篇文章主要介紹了Python繪圖中解決Turtle的安裝問(wèn)題示例分析，也遇到過(guò)相同問(wèn)題的同學(xué)可以借鑒參考下，希望能夠解決你的問(wèn)題2021-10-10
python調(diào)用cmd命令時(shí)遇到的路徑空格問(wèn)題和中文亂碼的解決
這篇文章主要介紹了python調(diào)用cmd命令時(shí)遇到的路徑空格問(wèn)題和中文亂碼的解決方案,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-02-02
python書(shū)籍信息爬蟲(chóng)實(shí)例
這篇文章主要為大家詳細(xì)介紹了python書(shū)籍信息爬蟲(chóng)示例，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-03-03
Python爬蟲(chóng)庫(kù)BeautifulSoup獲取對(duì)象(標(biāo)簽)名,屬性,內(nèi)容,注釋
如何利用Python爬蟲(chóng)庫(kù)BeautifulSoup獲取對(duì)象(標(biāo)簽)名,屬性,內(nèi)容,注釋等操作下面就為大家介紹一下2020-01-01
工作中常需要壓縮數(shù)據(jù)文件大小,壓縮PDF文件是一種減少PDF文件大小的方法,這樣可以使文件更易于傳輸和存儲(chǔ),本文將使用Python實(shí)現(xiàn)這一功能,需要的可以參考下2024-02-02
這篇文章主要介紹了python 中如何獲取列表的索引，在文中給大家提到了python 返回列表中某個(gè)值的索引，本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2019-07-07
Python判斷dict中key是否存在的3種方法實(shí)例
大家在學(xué)會(huì)python中的字典,會(huì)發(fā)現(xiàn),字典中是沒(méi)有特殊順序的,但是都存儲(chǔ)在一個(gè)特定的key下面,下面這篇文章主要給大家介紹了關(guān)于Python判斷dict中key是否存在的3種方法,需要的朋友可以參考下2022-04-04