欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

人工智能學(xué)習(xí)pyTorch自建數(shù)據(jù)集及可視化結(jié)果實現(xiàn)過程

 更新時間:2021年11月11日 14:16:57   作者:Swayzzu  
這篇文章主要為大家介紹了人工智能學(xué)習(xí)pyTorch自建數(shù)據(jù)集及可視化結(jié)果的實現(xiàn)過程,有需要的朋友可以借鑒參考下,希望能夠有所幫助

一、自定義數(shù)據(jù)集

現(xiàn)有數(shù)據(jù)如下:

5個文件夾,每個文件夾是神奇寶貝的一種。

每個圖片形狀、大小、格式不一。

我們訓(xùn)練CNN的時候需要的是tensor類型的數(shù)據(jù),因此需要將所有的圖片進行下列轉(zhuǎn)換:

1.對文件夾編號,進行映射,比如妙蛙種子文件夾編號0,皮卡丘編號1等。

2.對文件夾中所有圖片,進行編號的對應(yīng),這個就是標(biāo)簽。并保存為一個csv文件。

3.圖片信息獲?。悍譃閠rain,val,test

4.處理圖片,使其成為torch可以處理的類型

1.文件夾映射

前半部分為文件夾的映射。我們希望傳入數(shù)據(jù)的時候直接傳入文件夾的名字,而文件夾所在的路徑就是py文件所在的路徑,因此這樣可以直接讀取。對于路徑的操作使用os.path.join進行。

2.圖片對應(yīng)標(biāo)簽

輸入的filename,就是我們將圖片和標(biāo)簽信息存儲的文件。

使用glob.glob方法,可以輕松調(diào)取路徑下的所有指定類型的文件。

將名字和標(biāo)簽對應(yīng)好后,通過csv.writer,可以將信息以csv格式寫入新文件。

以上是保存的部分,在這個函數(shù)中,我們還要重新讀取一下這個文件,因為要在這個類中獲得最終的圖片,以及標(biāo)簽,并且返回。

3.訓(xùn)練及測試數(shù)據(jù)分割

這里是第一步的圖片的后半部分,導(dǎo)入了圖片之后,對其進行分割,這里是按照訓(xùn)練、交叉驗證、測試,分別是0.6,0.2,0.2進行分割的。

分割完畢后的self.images, self.labels,就可以拿來進行tensor相關(guān)的處理了。

4.數(shù)據(jù)處理

上面幾步是準備工作,接下來定義的__getitem__是為了能夠使train_loader = DataLoader()這一語句實現(xiàn)。在這里面直接將數(shù)據(jù)進行我們希望進行的轉(zhuǎn)換。比如大小、旋轉(zhuǎn)、裁剪等。

最后返回處理好的圖片,以及tensor化的標(biāo)簽。

另外,還需要定義一個__len__,使得我們可以獲得數(shù)據(jù)集長度。

二、ResNet處理

我們要用ResNet對圖片進行處理,因此其中的參數(shù)需要進行一定的修改。

主要的修改部分是ResNet18之中的resblock模塊。因為我們希望輸入的是3通道,224*224的圖片,因此在這里對通道,步長進行一定的修改,并進行測試,成功之后便可以進行訓(xùn)練了。

三、訓(xùn)練及可視化

1.數(shù)據(jù)集導(dǎo)入

同時把GPU設(shè)備相關(guān)代碼準備好,并且由于需要可視化,因此先實例化visdom,并且在終端上輸入python -m visdom.server,打開visdom監(jiān)視終端。

2.測試函數(shù)

先把模式改為eval(),接下來就是通過model,去訓(xùn)練測試集,得到標(biāo)簽,并統(tǒng)計正確率。

3.訓(xùn)練過程及可視化

和之前的一樣,還是先實例化一個優(yōu)化器,選擇損失函數(shù)模式,實例化ResNet18,然后進行訓(xùn)練。

在這里由于要展示,因此先對損失值,交叉驗證分數(shù)分別設(shè)置一個初始的線,通過append的方法,畫出我們的損失曲線,以及交叉驗證分數(shù)曲線。

通過torch.save方法存儲我們的最優(yōu)解。

最后通過把存儲好的最優(yōu)解調(diào)用起來,使用測試集,來測試最終的效果。

最終獲得的交叉驗證準確率89%,測試集準確率88%,損失值及交叉驗證結(jié)果的圖像如下:

以上就是人工智能學(xué)習(xí)pyTorch自建數(shù)據(jù)集及可視化結(jié)果實現(xiàn)過程的詳細內(nèi)容,更多關(guān)于pyTorch自建數(shù)據(jù)集及可視化結(jié)果實現(xiàn)的資料請關(guān)注腳本之家其它相關(guān)文章!

相關(guān)文章

  • python環(huán)境下OPenCV處理視頻流局部區(qū)域像素值

    python環(huán)境下OPenCV處理視頻流局部區(qū)域像素值

    這篇文章主要為大家介紹了python環(huán)境下OPenCV處理視頻流局部區(qū)域像素值的實現(xiàn)示例,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步
    2021-11-11
  • Python中使用dom模塊生成XML文件示例

    Python中使用dom模塊生成XML文件示例

    這篇文章主要介紹了Python中使用dom模塊生成XML文件示例,本文講解了dom模塊的主要方法、詳細的代碼實例,需要的朋友可以參考下
    2015-04-04
  • python實現(xiàn)獲取Ip歸屬地等信息

    python實現(xiàn)獲取Ip歸屬地等信息

    本文給大家簡單介紹了下如何使用Python實現(xiàn)獲取IP歸屬地信息的方法和代碼,非常的實用,有需要的小伙伴可以參考下
    2016-08-08
  • 詳解Python中的測試工具

    詳解Python中的測試工具

    本文介紹了兩個Python中的測試工具: doctest和unittest,并配以簡單的例子來說明這兩個測試模塊的使用方法,需要的朋友可以參考下
    2019-06-06
  • pandas DataFrame 刪除重復(fù)的行的實現(xiàn)方法

    pandas DataFrame 刪除重復(fù)的行的實現(xiàn)方法

    這篇文章主要介紹了pandas DataFrame 刪除重復(fù)的行的實現(xiàn)方法,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2019-01-01
  • Sklearn多種算法實現(xiàn)人臉補全的項目實踐

    Sklearn多種算法實現(xiàn)人臉補全的項目實踐

    本文主要介紹了Sklearn多種算法實現(xiàn)人臉補全的項目實踐,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2023-03-03
  • Python 安裝 virturalenv 虛擬環(huán)境的教程詳解

    Python 安裝 virturalenv 虛擬環(huán)境的教程詳解

    這篇文章主要介紹了Python 安裝 virturalenv 虛擬環(huán)境的教程,本文給大家介紹的非常詳細,具有一定的參考借鑒價值,需要的朋友可以參考下
    2020-02-02
  • python中使用matplotlib繪制熱力圖

    python中使用matplotlib繪制熱力圖

    熱力圖,是一種通過對色塊著色來顯示數(shù)據(jù)的統(tǒng)計圖表,它通過使用顏色編碼來表示數(shù)據(jù)的值,并在二維平面上呈現(xiàn)出來,本文就給大家介紹一下python使用matplotlib繪制熱力圖的方法,需要的朋友可以參考下
    2023-08-08
  • python urllib爬蟲模塊使用解析

    python urllib爬蟲模塊使用解析

    這篇文章主要介紹了python urllib爬蟲模塊使用解析,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
    2019-09-09
  • 利用Python計算KS的實例詳解

    利用Python計算KS的實例詳解

    這篇文章主要介紹了利用Python計算KS的實例詳解,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-03-03

最新評論