欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Keras搭建孿生神經網絡Siamese?network比較圖片相似性

 更新時間:2022年05月07日 14:59:47   作者:Bubbliiiing  
這篇文章主要為大家介紹了Keras搭建孿生神經網絡Siamese?network比較圖片相似性,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪

什么是孿生神經網絡

最近學習了一下如何比較兩張圖片的相似性,用到了孿生神經網絡,一起來學習一下。

簡單來說,孿生神經網絡(Siamese network)就是“連體的神經網絡”,神經網絡的“連體”是通過共享權值來實現的,如下圖所示。

所謂權值共享就是當神經網絡有兩個輸入的時候,這兩個輸入使用的神經網絡的權值是共享的(可以理解為使用了同一個神經網絡)。

很多時候,我們需要去評判兩張圖片的相似性,比如比較兩張人臉的相似性,我們可以很自然的想到去提取這個圖片的特征再進行比較,自然而然的,我們又可以想到利用神經網絡進行特征提取。

如果使用兩個神經網絡分別對圖片進行特征提取,提取到的特征很有可能不在一個域中,此時我們可以考慮使用一個神經網絡進行特征提取再進行比較。

這個時候我們就可以理解孿生神經網絡為什么要進行權值共享了。

孿生神經網絡有兩個輸入(Input1 and Input2),利用神經網絡將輸入映射到新的空間,形成輸入在新的空間中的表示。通過Loss的計算,評價兩個輸入的相似度。

代碼下載

孿生神經網絡的實現思路

一、預測部分

1、主干網絡介紹

孿生神經網絡的主干特征提取網絡的功能是進行特征提取,各種神經網絡都可以適用,本文使用的神經網絡是VGG16。關于VGG的介紹大家可以看我的另外一篇博客

http://www.dbjr.com.cn/article/246968.htm

這是一個VGG被用到爛的圖,但確實很好的反應了VGG的結構:

1、一張原始圖片被resize到指定大小,本文使用105x105。

2、conv1包括兩次[3,3]卷積網絡,一次2X2最大池化,輸出的特征層為64通道。

3、conv2包括兩次[3,3]卷積網絡,一次2X2最大池化,輸出的特征層為128通道。

4、conv3包括三次[3,3]卷積網絡,一次2X2最大池化,輸出的特征層為256通道。

5、conv4包括三次[3,3]卷積網絡,一次2X2最大池化,輸出的特征層為512通道。

6、conv5包括三次[3,3]卷積網絡,一次2X2最大池化,輸出的特征層為512通道。

實現代碼為:

import keras
from keras.layers import Input,Dense,Conv2D
from keras.layers import MaxPooling2D,Flatten
from keras.models import Model
import os
import numpy as np
from PIL import Image
from keras.optimizers import SGD
class VGG16:
    def __init__(self):
        self.block1_conv1 = Conv2D(64,(3,3),activation = 'relu',padding = 'same',name = 'block1_conv1')
        self.block1_conv2 = Conv2D(64,(3,3),activation = 'relu',padding = 'same', name = 'block1_conv2')
        self.block1_pool = MaxPooling2D((2,2), strides = (2,2), name = 'block1_pool')
        self.block2_conv1 = Conv2D(128,(3,3),activation = 'relu',padding = 'same',name = 'block2_conv1')
        self.block2_conv2 = Conv2D(128,(3,3),activation = 'relu',padding = 'same',name = 'block2_conv2')
        self.block2_pool = MaxPooling2D((2,2),strides = (2,2),name = 'block2_pool')
        self.block3_conv1 = Conv2D(256,(3,3),activation = 'relu',padding = 'same',name = 'block3_conv1')
        self.block3_conv2 = Conv2D(256,(3,3),activation = 'relu',padding = 'same',name = 'block3_conv2')
        self.block3_conv3 = Conv2D(256,(3,3),activation = 'relu',padding = 'same',name = 'block3_conv3')
        self.block3_pool = MaxPooling2D((2,2),strides = (2,2),name = 'block3_pool')
        self.block4_conv1 = Conv2D(512,(3,3),activation = 'relu',padding = 'same', name = 'block4_conv1')
        self.block4_conv2 = Conv2D(512,(3,3),activation = 'relu',padding = 'same', name = 'block4_conv2')
        self.block4_conv3 = Conv2D(512,(3,3),activation = 'relu',padding = 'same', name = 'block4_conv3')
        self.block4_pool = MaxPooling2D((2,2),strides = (2,2),name = 'block4_pool')
        # 第五個卷積部分
        self.block5_conv1 = Conv2D(512,(3,3),activation = 'relu',padding = 'same', name = 'block5_conv1')
        self.block5_conv2 = Conv2D(512,(3,3),activation = 'relu',padding = 'same', name = 'block5_conv2')
        self.block5_conv3 = Conv2D(512,(3,3),activation = 'relu',padding = 'same', name = 'block5_conv3')   
        self.block5_pool = MaxPooling2D((2,2),strides = (2,2),name = 'block5_pool')
        self.flatten = Flatten(name = 'flatten')
    def call(self, inputs):
        x = inputs
        x = self.block1_conv1(x)
        x = self.block1_conv2(x)
        x = self.block1_pool(x)
        x = self.block2_conv1(x)
        x = self.block2_conv2(x)
        x = self.block2_pool(x)
        x = self.block3_conv1(x)
        x = self.block3_conv2(x)
        x = self.block3_conv3(x)
        x = self.block3_pool(x)
        x = self.block4_conv1(x)
        x = self.block4_conv2(x)
        x = self.block4_conv3(x)
        x = self.block4_pool(x)
        x = self.block5_conv1(x)
        x = self.block5_conv2(x)
        x = self.block5_conv3(x)
        x = self.block5_pool(x)
        outputs = self.flatten(x)
        return outputs

2、比較網絡

在獲得主干特征提取網絡之后,我們可以獲取到一個多維特征,我們可以使用flatten的方式將其平鋪到一維上,這個時候我們就可以獲得兩個輸入的一維向量了

將這兩個一維向量進行相減,再進行絕對值求和,相當于求取了兩個特征向量插值的L1范數。也就相當于求取了兩個一維向量的距離。

然后對這個距離再進行兩次全連接,第二次全連接到一個神經元上,對這個神經元的結果取sigmoid,使其值在0-1之間,代表兩個輸入圖片的相似程度。

實現代碼如下:

import keras
from keras.layers import Input,Dense,Conv2D
from keras.layers import MaxPooling2D,Flatten,Lambda
from keras.models import Model
import keras.backend as K
import os
import numpy as np
from PIL import Image
from keras.optimizers import SGD
from nets.vgg import VGG16
def siamese(input_shape):
    vgg_model = VGG16()
    input_image_1 = Input(shape=input_shape)
    input_image_2 = Input(shape=input_shape)
    encoded_image_1 = vgg_model.call(input_image_1)
    encoded_image_2 = vgg_model.call(input_image_2)
    l1_distance_layer = Lambda(
        lambda tensors: K.abs(tensors[0] - tensors[1]))
    l1_distance = l1_distance_layer([encoded_image_1, encoded_image_2])
    out = Dense(512,activation='relu')(l1_distance)
    out = Dense(1,activation='sigmoid')(out)
    model = Model([input_image_1,input_image_2],out)
    return model

二、訓練部分

1、數據集的格式

本文所使用的數據集為Omniglot數據集。

其包含來自 50不同字母(語言)的1623 個不同手寫字符。

每一個字符都是由 20個不同的人通過亞馬遜的 Mechanical Turk 在線繪制的。

相當于每一個字符有20張圖片,然后存在1623個不同的手寫字符,我們需要利用神經網絡進行學習,去區(qū)分這1623個不同的手寫字符,比較輸入進來的字符的相似性。

本博客中數據存放格式有三級:

- image_background
	- Alphabet_of_the_Magi
		- character01
			- 0709_01.png
			- 0709_02.png
			- ……
		- character02
		- character03
		- ……
	- Anglo-Saxon_Futhorc
	- ……

最后一級的文件夾用于分辨不同的字體,同一個文件夾里面的圖片屬于同一文字。在不同文件夾里面存放的圖片屬于不同文字。

上兩個圖為.\images_background\Alphabet_of_the_Magi\character01里的兩幅圖。它們兩個屬于同一個字。

上一個圖為.\images_background\Alphabet_of_the_Magi\character02里的一幅圖。它和上面另兩幅圖不屬于同一個字。

2、Loss計算

對于孿生神經網絡而言,其具有兩個輸入。

當兩個輸入指向同一個類型的圖片時,此時標簽為1。

當兩個輸入指向不同類型的圖片時,此時標簽為0。

然后將網絡的輸出結果和真實標簽進行交叉熵運算,就可以作為最終的loss了。

本文所使用的Loss為binary_crossentropy。

當我們輸入如下兩個字體的時候,我們希望網絡的輸出為1。

我們會將預測結果和1求交叉熵。

當我們輸入如下兩個字體的時候,我們希望網絡的輸出為0。

我們會將預測結果和0求交叉熵。

訓練自己的孿生神經網絡

1、訓練本文所使用的Omniglot例子

下載數據集,放在根目錄下的dataset文件夾下。

運行train.py開始訓練。

2、訓練自己相似性比較的模型

如果大家想要訓練自己的數據集,可以將數據集按照如下格式進行擺放。

每一個chapter里面放同類型的圖片。

之后將train.py當中的train_own_data設置成True,即可開始訓練。

以上就是Keras搭建孿生神經網絡Siamese network比較圖片相似性的詳細內容,更多關于Keras孿生神經網絡比較圖片的資料請關注腳本之家其它相關文章!

相關文章

  • python中stdout輸出不緩存的設置方法

    python中stdout輸出不緩存的設置方法

    這篇文章主要介紹了python中stdout輸出不緩存的設置方法,這個方法只在比較特殊的環(huán)境中使用,需要的朋友可以參考下
    2014-05-05
  • Python使用Selenium執(zhí)行JavaScript代碼的步驟詳解

    Python使用Selenium執(zhí)行JavaScript代碼的步驟詳解

    Selenium是一個用于自動化瀏覽器操作的工具,可以模擬人工操作,執(zhí)行各種瀏覽器操作,而JavaScript是一種常用的腳本語言,本文將介紹如何在Python中使用Selenium執(zhí)行JavaScript代碼,并給出一些常見的應用示例
    2023-11-11
  • Python常用工具類之adbtool示例代碼

    Python常用工具類之adbtool示例代碼

    本文主要介紹了Python中常用工具類之adb命令的使用,文中通過示例代碼介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2022-08-08
  • python中如何使用正則表達式提取數據

    python中如何使用正則表達式提取數據

    這篇文章主要介紹了python中如何使用正則表達式提取數據問題。具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教
    2023-02-02
  • python實現決策樹、隨機森林的簡單原理

    python實現決策樹、隨機森林的簡單原理

    這篇文章主要為大家詳細介紹了python實現決策樹、隨機森林的簡單原理,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2018-03-03
  • python運行加速的幾種方式

    python運行加速的幾種方式

    Python運行的慢是歷來被詬病的,本文就來介紹一下python運行加速的幾種方式,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2021-07-07
  • Python調用釘釘自定義機器人的實現

    Python調用釘釘自定義機器人的實現

    這篇文章主要介紹了Python調用釘釘自定義機器人的實現,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2020-01-01
  • python 實現網易郵箱郵件閱讀和刪除的輔助小腳本

    python 實現網易郵箱郵件閱讀和刪除的輔助小腳本

    這篇文章主要介紹了python 如何實現網易郵箱郵件閱讀和刪除輔助的小腳本,幫助大家更好的理解和學習使用python,感興趣的朋友可以了解下
    2021-03-03
  • pandas 空數據處理方法詳解

    pandas 空數據處理方法詳解

    這篇文章主要介紹了pandas 空數據處理方法詳解,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
    2019-11-11
  • Django實現簡單網頁彈出警告代碼

    Django實現簡單網頁彈出警告代碼

    今天小編就為大家分享一篇Django實現簡單網頁彈出警告代碼,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2019-11-11

最新評論