Python 寫入訓(xùn)練日志文件并控制臺輸出解析
1. 背景
在深度學(xué)習(xí)的任務(wù)中，通常需要比較長時間的訓(xùn)練，因此我們會選擇離開電腦。筆者在跟蹤模型表現(xiàn)，
觀察模型accuracy 以及 loss 的時候，比較傳統(tǒng)的方法是在控制臺print輸出或者直接使用tensorboard。
但如果是你需要遠(yuǎn)程觀察模型表現(xiàn)，那一個時刻記錄的log 文件就非常重要。
（如果你希望不在實(shí)驗(yàn)室，遠(yuǎn)程通過訪問正在訓(xùn)練網(wǎng)絡(luò)的服務(wù)器的Jupyter Notebook ，實(shí)時查看實(shí)驗(yàn)進(jìn)度。請參考——遠(yuǎn)程連接服務(wù)器端Jupyter Notebook）
2. logging 函數(shù)
創(chuàng)建 .log 文件并將一些數(shù)據(jù)在控制臺輸出可以通過logging 函數(shù)實(shí)現(xiàn)。
廢話不多，直接貼代碼：一下函數(shù)可以在你想要保存日志文件的路徑——output_dir下生成一個.log 文件，文件名以年.月.日.時.分命名，以免重復(fù)。
import logging
import time
import os
def log_creater(output_dir):
if not os.path.exists(output_dir):
os.makedirs(output_dir)
log_name = '{}.log'.format(time.strftime('%Y-%m-%d-%H-%M'))
final_log_file = os.path.join(output_dir,log_name)
# creat a log
log = logging.getLogger('train_log')
log.setLevel(logging.DEBUG)
# FileHandler
file = logging.FileHandler(final_log_file)
file.setLevel(logging.DEBUG)
# StreamHandler
stream = logging.StreamHandler()
stream.setLevel(logging.DEBUG)
# Formatter
formatter = logging.Formatter(
'[%(asctime)s][line: %(lineno)d] ==> %(message)s')
# setFormatter
file.setFormatter(formatter)
stream.setFormatter(formatter)
# addHandler
log.addHandler(file)
log.addHandler(stream)
log.info('creating {}'.format(final_log_file))
return log
3. 結(jié)果
保存后的日志文件差不多就是這樣：
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了FFrpc python客戶端lib使用解析,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-08-08
用Python實(shí)現(xiàn)zip密碼破解實(shí)例
大家好，本篇文章主要講的是用Python實(shí)現(xiàn)zip密碼破解實(shí)例，感興趣的同學(xué)趕快來看一看吧，對你有幫助的話記得收藏一下2022-01-01
pytorch中的hook機(jī)制register_forward_hook
這篇文章主要介紹了pytorch中的hook機(jī)制register_forward_hook，手動在forward之前注冊hook，hook在forward執(zhí)行以后被自動執(zhí)行，下面詳細(xì)的內(nèi)容介紹，需要的小伙伴可以參考一下2022-03-03
這篇文章主要介紹了Python繪圖中解決Turtle的安裝問題示例分析，也遇到過相同問題的同學(xué)可以借鑒參考下，希望能夠解決你的問題2021-10-10
python調(diào)用cmd命令時遇到的路徑空格問題和中文亂碼的解決
這篇文章主要介紹了python調(diào)用cmd命令時遇到的路徑空格問題和中文亂碼的解決方案,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-02-02
這篇文章主要為大家詳細(xì)介紹了python書籍信息爬蟲示例，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-03-03
Python爬蟲庫BeautifulSoup獲取對象(標(biāo)簽)名,屬性,內(nèi)容,注釋
如何利用Python爬蟲庫BeautifulSoup獲取對象(標(biāo)簽)名,屬性,內(nèi)容,注釋等操作下面就為大家介紹一下2020-01-01
工作中常需要壓縮數(shù)據(jù)文件大小,壓縮PDF文件是一種減少PDF文件大小的方法,這樣可以使文件更易于傳輸和存儲,本文將使用Python實(shí)現(xiàn)這一功能,需要的可以參考下2024-02-02
這篇文章主要介紹了python 中如何獲取列表的索引，在文中給大家提到了python 返回列表中某個值的索引，本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，具有一定的參考借鑒價值,需要的朋友可以參考下2019-07-07
Python判斷dict中key是否存在的3種方法實(shí)例
大家在學(xué)會python中的字典,會發(fā)現(xiàn),字典中是沒有特殊順序的,但是都存儲在一個特定的key下面,下面這篇文章主要給大家介紹了關(guān)于Python判斷dict中key是否存在的3種方法,需要的朋友可以參考下2022-04-04