欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Keras實(shí)現(xiàn)支持masking的Flatten層代碼

 更新時(shí)間:2020年06月16日 14:19:12   作者:蕉叉熵  
這篇文章主要介紹了Keras實(shí)現(xiàn)支持masking的Flatten層代碼,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧

不知道為什么,我總是需要實(shí)現(xiàn)某種騷操作,而這種騷操作往往是Keras不支持的。例如,我有一個(gè)padding過(guò)的矩陣,那么它一定是帶masking的,然后我想要把它Flatten,再輸入到Dense層。然而Keras的Flatten層不支持masking。

Keras原本Flatten的實(shí)現(xiàn)

class Flatten(Layer):
 def __init__(self, **kwargs):
  super(Flatten, self).__init__(**kwargs)
  self.input_spec = InputSpec(min_ndim=3)

 def compute_output_shape(self, input_shape):
  if not all(input_shape[1:]):
   raise ValueError('The shape of the input to "Flatten" '
        'is not fully defined '
        '(got ' + str(input_shape[1:]) + '. '
        'Make sure to pass a complete "input_shape" '
        'or "batch_input_shape" argument to the first '
        'layer in your model.')
  return (input_shape[0], np.prod(input_shape[1:]))

 def call(self, inputs):
  return K.batch_flatten(inputs)

自定義支持masking的實(shí)現(xiàn)

事實(shí)上,Keras層的mask有時(shí)候是需要參與運(yùn)算的,比如Dense之類的,有時(shí)候則只是做某種變換然后傳遞給后面的層。Flatten屬于后者,因?yàn)閙ask總是與input有相同的shape,所以我們要做的就是在compute_mask函數(shù)里對(duì)mask也做flatten。

from keras import backend as K
from keras.engine.topology import Layer
import tensorflow as tf
import numpy as np

class MyFlatten(Layer):
 def __init__(self, **kwargs):
  self.supports_masking = True
  super(MyFlatten, self).__init__(**kwargs)

 def compute_mask(self, inputs, mask=None):
  if mask==None:
   return mask
  return K.batch_flatten(mask)

 def call(self, inputs, mask=None):
  return K.batch_flatten(inputs)

 def compute_output_shape(self, input_shape):
  return (input_shape[0], np.prod(input_shape[1:]))

正確性檢驗(yàn)

from keras.layers import *
from keras.models import Model
from MyFlatten import MyFlatten
from MySumLayer import MySumLayer
from keras.initializers import ones

data = [[1,0,0,0],
  [1,2,0,0],
  [1,2,3,0],
  [1,2,3,4]]

A = Input(shape=[4]) # None * 4
emb = Embedding(5, 3, mask_zero=True, embeddings_initializer=ones())(A) # None * 4 * 3
fla = MyFlatten()(emb) # None * 12
out = MySumLayer(axis=1)(fla) # None * 1

model = Model(inputs=[A], outputs=[out])
print model.predict(data)

輸出:

[ 3. 6. 9. 12.]

補(bǔ)充知識(shí):pytorch中的reshape()、view()、transpose()和flatten()

1、torch.reshape()

reshape()可以由torch.reshape(),也可由torch.Tensor.reshape()調(diào)用

其作用是在不改變tensor元素?cái)?shù)目的情況下改變tensor的shape

import torch
import numpy as np
a = np.arange(24)
b = a.reshape(4,3,2)
print(np.shape(a))
print(b,np.shape(b))

'''結(jié)果
(24,)
[[[ 0 1]
 [ 2 3]
 [ 4 5]]

 [[ 6 7]
 [ 8 9]
 [10 11]]

 [[12 13]
 [14 15]
 [16 17]]

 [[18 19]
 [20 21]
 [22 23]]] (4, 3, 2)
'''

2、view()

view()只可以由torch.Tensor.view()來(lái)調(diào)用

view()和reshape()在效果上是一樣的,區(qū)別是view()只能操作contiguous的tensor,且view后的tensor和原tensor共享存儲(chǔ),reshape()對(duì)于是否contiuous的tensor都可以操作。

3、transpose()

torch.transpose(input, dim0, dim1) -> Tensor

將輸入數(shù)據(jù)input的第dim0維和dim1維進(jìn)行交換

#官方例子
>>> x = torch.randn(2, 3)
>>> x
tensor([[ 0.9068, 1.8803, -0.5021],
  [-0.6576, 0.6334, -0.8961]])
>>> torch.transpose(x, 0, 1)
tensor([[ 0.9068, -0.6576],
  [ 1.8803, 0.6334],
  [-0.5021, -0.8961]])

4、flatten()

torch.flatten()的輸入是tensor

torch.flatten(input, start_dim=0, end_dim=-1) → Tensor

其作用是將輸入tensor的第start_dim維到end_dim維之間的數(shù)據(jù)“拉平”成一維tensor,

#官方例子
>>> t = torch.tensor([[[1, 2],
        [3, 4]],
        [[5, 6],
        [7, 8]]])
>>> torch.flatten(t)
tensor([1, 2, 3, 4, 5, 6, 7, 8])
>>> torch.flatten(t, start_dim=1)
tensor([[1, 2, 3, 4],
  [5, 6, 7, 8]])

torch.nn.Flatten()可以理解為一種網(wǎng)絡(luò)結(jié)構(gòu),類似Conv2d、Linear。一般放在卷積層和全連接層之間,將卷積層輸出“拉平”成一維,

>>> m = torch.nn.Sequential(
 torch.nn.Conv2d(1, 32, 5, 1, 1),
 torch.nn.Flatten(),
 torch.nn.Linear(160,10))
>>> m
Sequential(
 (0): Conv2d(1, 32, kernel_size=(5, 5), stride=(1, 1), padding=(1, 1))
 (1): Flatten()
 (2): Linear(in_features=160, out_features=10, bias=True)
)

以上這篇Keras實(shí)現(xiàn)支持masking的Flatten層代碼就是小編分享給大家的全部?jī)?nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。

相關(guān)文章

  • 純python實(shí)現(xiàn)機(jī)器學(xué)習(xí)之kNN算法示例

    純python實(shí)現(xiàn)機(jī)器學(xué)習(xí)之kNN算法示例

    本篇文章主要介紹了純python實(shí)現(xiàn)機(jī)器學(xué)習(xí)之kNN算法示例,小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧
    2018-03-03
  • 使用Python讀取json文件的方法小結(jié)

    使用Python讀取json文件的方法小結(jié)

    這篇文章主要給大家介紹了Python讀取json文件的方法,使用python讀取json文件,輸出結(jié)果為字符串或python對(duì)象,文中有詳細(xì)的代碼示例和圖解,感興趣的小伙伴可以自己動(dòng)手試一試
    2023-09-09
  • 便捷提取python導(dǎo)入包的屬性方法

    便捷提取python導(dǎo)入包的屬性方法

    今天小編就為大家分享一篇便捷提取python導(dǎo)入包的屬性方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2018-10-10
  • 基于Python實(shí)現(xiàn)四維圖像繪制系統(tǒng)

    基于Python實(shí)現(xiàn)四維圖像繪制系統(tǒng)

    這篇文章主要為大家詳細(xì)介紹了如何基于Python語(yǔ)言實(shí)現(xiàn)一個(gè)簡(jiǎn)單的四維圖像繪制系統(tǒng),文中的示例代碼講解詳細(xì),感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下
    2023-09-09
  • Django 實(shí)現(xiàn)外鍵去除自動(dòng)添加的后綴‘_id’

    Django 實(shí)現(xiàn)外鍵去除自動(dòng)添加的后綴‘_id’

    今天小編就為大家分享一篇Django 實(shí)現(xiàn)外鍵去除自動(dòng)添加的后綴‘_id’,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2019-11-11
  • Django-imagekit的使用詳解

    Django-imagekit的使用詳解

    ImageKit是一個(gè)用于處理圖像的Django應(yīng)用程序。這篇文章主要介紹了Django-imagekit的使用,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2020-07-07
  • Python閉包裝飾器使用方法匯總

    Python閉包裝飾器使用方法匯總

    這篇文章主要介紹了Python閉包裝飾器使用方法匯總,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
    2020-06-06
  • Python Xml文件添加字節(jié)屬性的方法

    Python Xml文件添加字節(jié)屬性的方法

    下面小編就為大家分享一篇Python Xml文件添加字節(jié)屬性的方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2018-03-03
  • Python3處理HTTP請(qǐng)求的實(shí)例

    Python3處理HTTP請(qǐng)求的實(shí)例

    今天小編就為大家分享一篇Python3處理HTTP請(qǐng)求的實(shí)例,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2018-05-05
  • python中OrderedDict的使用方法詳解

    python中OrderedDict的使用方法詳解

    本篇文章主要介紹了python中OrderedDict的使用方法詳解,非常具有實(shí)用價(jià)值,需要的朋友可以參考下
    2017-05-05

最新評(píng)論