欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Keras在mnist上的CNN實踐,并且自定義loss函數(shù)曲線圖操作

 更新時間：2021年05月25日 09:30:39   作者：Soyoger  
這篇文章主要介紹了Keras在mnist上的CNN實踐,并且自定義loss函數(shù)曲線圖操作，具有很好的參考價值，希望對大家有所幫助。

使用keras實現(xiàn)CNN，直接上代碼：

from keras.datasets import mnist
from keras.models import Sequential
from keras.layers import Dense, Dropout, Activation, Flatten
from keras.layers import Convolution2D, MaxPooling2D
from keras.utils import np_utils
from keras import backend as K
 
class LossHistory(keras.callbacks.Callback):
    def on_train_begin(self, logs={}):
        self.losses = {'batch':[], 'epoch':[]}
        self.accuracy = {'batch':[], 'epoch':[]}
        self.val_loss = {'batch':[], 'epoch':[]}
        self.val_acc = {'batch':[], 'epoch':[]}
 
    def on_batch_end(self, batch, logs={}):
        self.losses['batch'].append(logs.get('loss'))
        self.accuracy['batch'].append(logs.get('acc'))
        self.val_loss['batch'].append(logs.get('val_loss'))
        self.val_acc['batch'].append(logs.get('val_acc'))
 
    def on_epoch_end(self, batch, logs={}):
        self.losses['epoch'].append(logs.get('loss'))
        self.accuracy['epoch'].append(logs.get('acc'))
        self.val_loss['epoch'].append(logs.get('val_loss'))
        self.val_acc['epoch'].append(logs.get('val_acc'))
 
    def loss_plot(self, loss_type):
        iters = range(len(self.losses[loss_type]))
        plt.figure()
        # acc
        plt.plot(iters, self.accuracy[loss_type], 'r', label='train acc')
        # loss
        plt.plot(iters, self.losses[loss_type], 'g', label='train loss')
        if loss_type == 'epoch':
            # val_acc
            plt.plot(iters, self.val_acc[loss_type], 'b', label='val acc')
            # val_loss
            plt.plot(iters, self.val_loss[loss_type], 'k', label='val loss')
        plt.grid(True)
        plt.xlabel(loss_type)
        plt.ylabel('acc-loss')
        plt.legend(loc="upper right")
        plt.show()
 
history = LossHistory()
 
batch_size = 128
nb_classes = 10
nb_epoch = 20
img_rows, img_cols = 28, 28
nb_filters = 32
pool_size = (2,2)
kernel_size = (3,3)
(X_train, y_train), (X_test, y_test) = mnist.load_data()
X_train = X_train.reshape(X_train.shape[0], img_rows, img_cols, 1)
X_test = X_test.reshape(X_test.shape[0], img_rows, img_cols, 1)
input_shape = (img_rows, img_cols, 1)
 
X_train = X_train.astype('float32')
X_test = X_test.astype('float32')
X_train /= 255
X_test /= 255
print('X_train shape:', X_train.shape)
print(X_train.shape[0], 'train samples')
print(X_test.shape[0], 'test samples')
 
Y_train = np_utils.to_categorical(y_train, nb_classes)
Y_test = np_utils.to_categorical(y_test, nb_classes)
 
model3 = Sequential()
 
model3.add(Convolution2D(nb_filters, kernel_size[0] ,kernel_size[1],
                        border_mode='valid',
                        input_shape=input_shape))
model3.add(Activation('relu'))
 
model3.add(Convolution2D(nb_filters, kernel_size[0], kernel_size[1]))
model3.add(Activation('relu'))
 
model3.add(MaxPooling2D(pool_size=pool_size))
model3.add(Dropout(0.25))
 
model3.add(Flatten())
 
model3.add(Dense(128))
model3.add(Activation('relu'))
model3.add(Dropout(0.5))
 
model3.add(Dense(nb_classes))
model3.add(Activation('softmax'))
 
model3.summary()
 
model3.compile(loss='categorical_crossentropy',
              optimizer='adadelta',
              metrics=['accuracy'])
 
model3.fit(X_train, Y_train, batch_size=batch_size, epochs=nb_epoch,
          verbose=1, validation_data=(X_test, Y_test),callbacks=[history])
 
score = model3.evaluate(X_test, Y_test, verbose=0)
print('Test score:', score[0])
print('Test accuracy:', score[1])
 
#acc-loss
history.loss_plot('epoch')

補充：使用keras全連接網(wǎng)絡(luò)訓(xùn)練mnist手寫數(shù)字識別并輸出可視化訓(xùn)練過程以及預(yù)測結(jié)果

前言

mnist 數(shù)字識別問題的可以直接使用全連接實現(xiàn)但是效果并不像CNN卷積神經(jīng)網(wǎng)絡(luò)好。Keras是目前最為廣泛的深度學(xué)習(xí)工具之一，底層可以支持Tensorflow、MXNet、CNTK、Theano

準(zhǔn)備工作

TensorFlow版本：1.13.1

Keras版本：2.1.6

Numpy版本：1.18.0

matplotlib版本：2.2.2

導(dǎo)入所需的庫

from keras.layers import Dense,Flatten,Dropout
from keras.datasets import mnist
from keras import Sequential
import matplotlib.pyplot as plt
import numpy as np

Dense輸入層作為全連接，F(xiàn)latten用于全連接扁平化操作（也就是將二維打成一維），Dropout避免過擬合。使用datasets中的mnist的數(shù)據(jù)集，Sequential用于構(gòu)建模型，plt為可視化，np用于處理數(shù)據(jù)。

劃分?jǐn)?shù)據(jù)集

# 訓(xùn)練集       訓(xùn)練集標(biāo)簽       測試集      測試集標(biāo)簽
(train_image,train_label),(test_image,test_label) = mnist.load_data()
print('shape:',train_image.shape)   #查看訓(xùn)練集的shape
plt.imshow(train_image[0])    #查看第一張圖片
print('label:',train_label[0])      #查看第一張圖片對應(yīng)的標(biāo)簽
plt.show()

輸出shape以及標(biāo)簽label結(jié)果：

在這里插入圖片描述

查看mnist數(shù)據(jù)集中第一張圖片：

在這里插入圖片描述

數(shù)據(jù)歸一化

train_image = train_image.astype('float32')
test_image = test_image.astype('float32')
train_image /= 255.0
test_image /= 255.0

將數(shù)據(jù)歸一化，以便于訓(xùn)練的時候更快的收斂。

模型構(gòu)建

#初始化模型（模型的優(yōu)化 ---> 增大網(wǎng)絡(luò)容量，直到過擬合）
model = Sequential()
model.add(Flatten(input_shape=(28,28)))    #將二維扁平化為一維（60000,28,28）---> (60000,28*28)輸入28*28個神經(jīng)元
model.add(Dropout(0.1))
model.add(Dense(1024,activation='relu'))   #全連接層 輸出64個神經(jīng)元 ,kernel_regularizer=l2(0.0003)
model.add(Dropout(0.1))
model.add(Dense(512,activation='relu'))    #全連接層
model.add(Dropout(0.1))
model.add(Dense(256,activation='relu'))    #全連接層
model.add(Dropout(0.1))
model.add(Dense(10,activation='softmax'))  #輸出層，10個類別，用softmax分類

每層使用一次Dropout防止過擬合，激活函數(shù)使用relu，最后一層Dense神經(jīng)元設(shè)置為10，使用softmax作為激活函數(shù)，因為只有0-9個數(shù)字。如果是二分類問題就使用sigmod函數(shù)來處理。

編譯模型

#編譯模型
model.compile(
    optimizer='adam',      #優(yōu)化器使用默認(rèn)adam
    loss='sparse_categorical_crossentropy', #損失函數(shù)使用sparse_categorical_crossentropy
    metrics=['acc']       #評價指標(biāo)
)

sparse_categorical_crossentropy與categorical_crossentropy的區(qū)別：

sparse_categorical_crossentropy要求target為非One-hot編碼，函數(shù)內(nèi)部進行One-hot編碼實現(xiàn)。

categorical_crossentropy要求target為One-hot編碼。

One-hot格式如： [0,0,0,0,0,1,0,0,0,0] = 5

訓(xùn)練模型

#訓(xùn)練模型
history = model.fit(
    x=train_image,                          #訓(xùn)練的圖片
    y=train_label,                          #訓(xùn)練的標(biāo)簽
    epochs=10,                              #迭代10次
    batch_size=512,                         #劃分批次
    validation_data=(test_image,test_label) #驗證集
)

迭代10次后的結(jié)果：

繪制loss、acc圖

#繪制loss acc圖
plt.figure()
plt.plot(history.history['acc'],label='training acc')
plt.plot(history.history['val_acc'],label='val acc')
plt.title('model acc')
plt.ylabel('acc')
plt.xlabel('epoch')
plt.legend(loc='lower right')
plt.figure()
plt.plot(history.history['loss'],label='training loss')
plt.plot(history.history['val_loss'],label='val loss')
plt.title('model loss')
plt.ylabel('loss')
plt.xlabel('epoch')
plt.legend(loc='upper right')
plt.show()

繪制出的loss變化圖：

在這里插入圖片描述

繪制出的acc變化圖：

在這里插入圖片描述

預(yù)測結(jié)果

print("前十個圖片對應(yīng)的標(biāo)簽：　",test_label[:10]) #前十個圖片對應(yīng)的標(biāo)簽
print("取前十張圖片測試集預(yù)測：",np.argmax(model.predict(test_image[:10]),axis=1)) #取前十張圖片測試集預(yù)測

打印的結(jié)果：

在這里插入圖片描述

可看到在第9個數(shù)字預(yù)測錯了，標(biāo)簽為5的，預(yù)測成了6，為了避免這種問題可以適當(dāng)?shù)募由罹W(wǎng)絡(luò)結(jié)構(gòu)，或使用CNN模型。

保存模型

model.save('./mnist_model.h5')

完整代碼

from keras.layers import Dense,Flatten,Dropout
from keras.datasets import mnist
from keras import Sequential
import matplotlib.pyplot as plt
import numpy as np
# 訓(xùn)練集       訓(xùn)練集標(biāo)簽       測試集      測試集標(biāo)簽
(train_image,train_label),(test_image,test_label) = mnist.load_data()
# print('shape:',train_image.shape)   #查看訓(xùn)練集的shape
# plt.imshow(train_image[0]) #查看第一張圖片
# print('label:',train_label[0])      #查看第一張圖片對應(yīng)的標(biāo)簽
# plt.show()
#歸一化（收斂）
train_image = train_image.astype('float32')
test_image = test_image.astype('float32')
train_image /= 255.0
test_image /= 255.0
#初始化模型（模型的優(yōu)化 ---> 增大網(wǎng)絡(luò)容量，直到過擬合）
model = Sequential()
model.add(Flatten(input_shape=(28,28)))   #將二維扁平化為一維（60000,28,28）---> (60000,28*28)輸入28*28個神經(jīng)元
model.add(Dropout(0.1))
model.add(Dense(1024,activation='relu'))    #全連接層 輸出64個神經(jīng)元 ,kernel_regularizer=l2(0.0003)
model.add(Dropout(0.1))
model.add(Dense(512,activation='relu'))    #全連接層
model.add(Dropout(0.1))
model.add(Dense(256,activation='relu'))    #全連接層
model.add(Dropout(0.1))
model.add(Dense(10,activation='softmax')) #輸出層，10個類別，用softmax分類
#編譯模型
model.compile(
    optimizer='adam',
    loss='sparse_categorical_crossentropy',
    metrics=['acc']
)
#訓(xùn)練模型
history = model.fit(
    x=train_image,                          #訓(xùn)練的圖片
    y=train_label,                          #訓(xùn)練的標(biāo)簽
    epochs=10,                              #迭代10次
    batch_size=512,                         #劃分批次
    validation_data=(test_image,test_label) #驗證集
)
#繪制loss acc 圖
plt.figure()
plt.plot(history.history['acc'],label='training acc')
plt.plot(history.history['val_acc'],label='val acc')
plt.title('model acc')
plt.ylabel('acc')
plt.xlabel('epoch')
plt.legend(loc='lower right')
plt.figure()
plt.plot(history.history['loss'],label='training loss')
plt.plot(history.history['val_loss'],label='val loss')
plt.title('model loss')
plt.ylabel('loss')
plt.xlabel('epoch')
plt.legend(loc='upper right')
plt.show()
print("前十個圖片對應(yīng)的標(biāo)簽：　",test_label[:10]) #前十個圖片對應(yīng)的標(biāo)簽
print("取前十張圖片測試集預(yù)測：",np.argmax(model.predict(test_image[:10]),axis=1)) #取前十張圖片測試集預(yù)測
#優(yōu)化前（一個全連接層（隱藏層））
#- 1s 12us/step - loss: 1.8765 - acc: 0.8825
# [7 2 1 0 4 1 4 3 5 4]
# [7 2 1 0 4 1 4 9 5 9]
#優(yōu)化后（三個全連接層（隱藏層））
#- 1s 14us/step - loss: 0.0320 - acc: 0.9926 - val_loss: 0.2530 - val_acc: 0.9655
# [7 2 1 0 4 1 4 9 5 9]
# [7 2 1 0 4 1 4 9 5 9]
model.save('./model_nameALL.h5')

總結(jié)

使用全連接層訓(xùn)練得到的最后結(jié)果train_loss: 0.0242 - train_acc: 0.9918 - val_loss: 0.0560 - val_acc: 0.9826，由loss acc可視化圖可以看出訓(xùn)練有著明顯的效果。

以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。

相關(guān)文章

  • python實現(xiàn)excel讀寫數(shù)據(jù)

    python實現(xiàn)excel讀寫數(shù)據(jù)

    這篇文章主要為大家詳細介紹了python操作EXCEL讀數(shù)據(jù)、寫數(shù)據(jù)的實例源碼，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下
    2018-04-04
  • 全面了解python字符串和字典

    全面了解python字符串和字典

    下面小編就為大家?guī)硪黄媪私鈖ython字符串和字典。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
    2016-07-07
  • 淺析pip安裝第三方庫及pycharm中導(dǎo)入第三方庫的問題

    淺析pip安裝第三方庫及pycharm中導(dǎo)入第三方庫的問題

    這篇文章主要介紹了淺析pip安裝第三方庫及pycharm中導(dǎo)入第三方庫的問題,本文給大家介紹的非常詳細，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下
    2020-03-03
  • 使用IDLE的Python shell窗口實例詳解

    使用IDLE的Python shell窗口實例詳解

    在本篇文章里小編給各位整理的是關(guān)于使用IDLE的Python shell窗口實例詳解內(nèi)容，有興趣的朋友們學(xué)習(xí)下。
    2019-11-11
  • Python安裝與基本數(shù)據(jù)類型教程詳解

    Python安裝與基本數(shù)據(jù)類型教程詳解

    這篇文章主要介紹了Python安裝與基本數(shù)據(jù)類型教程詳細講解，本文圖文并茂給大家介紹的非常詳細，具有一定的參考借鑒價值 ,需要的朋友可以參考下
    2019-05-05
  • Python Matplotlib初階使用入門教程

    Python Matplotlib初階使用入門教程

    本文介紹Python Matplotlib庫的入門求生級使用方法，本文通過圖文實例相結(jié)合給大家介紹的非常詳細，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友參考下吧
    2021-11-11
  • Python基礎(chǔ)學(xué)習(xí)列表+元組+字典+集合

    Python基礎(chǔ)學(xué)習(xí)列表+元組+字典+集合

    這篇文章主要介紹了Python基礎(chǔ)學(xué)習(xí)列表+元組+字典+集合，文章接上一篇內(nèi)容學(xué)習(xí)，主要針對python零基礎(chǔ)的同學(xué)，感興趣的話就學(xué)起來吧
    2022-05-05
  • Redis持久化機制實現(xiàn)原理和流程

    Redis持久化機制實現(xiàn)原理和流程

    這篇文章主要介紹了Redis持久化機制實現(xiàn)原理和流程,持久化就是把內(nèi)存中的數(shù)據(jù)存放到磁盤中，防止宕機后內(nèi)存數(shù)據(jù)丟失,需要的朋友可以參考下
    2023-04-04
  • 用Python將Excel數(shù)據(jù)導(dǎo)入到SQL Server的例子

    用Python將Excel數(shù)據(jù)導(dǎo)入到SQL Server的例子

    今天小編就為大家分享一篇用Python將Excel數(shù)據(jù)導(dǎo)入到SQL Server的例子，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
    2019-08-08
  • 用Python給圖像算法做個簡單應(yīng)用界面

    用Python給圖像算法做個簡單應(yīng)用界面

    這篇文章主要介紹了用Python給圖像算法做個簡單應(yīng)用界面，幫助大家更好的理解和學(xué)習(xí)使用python開發(fā)gui，感興趣的朋友可以了解下
    2021-05-05

最新評論