注意力機(jī)制最先被用在NLP領(lǐng)域,Attention就是為了讓模型認(rèn)識(shí)到數(shù)據(jù)中哪一部分是最重要的,為它分配更大的權(quán)重,獲得更多的注意力在一些特征上,讓模型表現(xiàn)更好,這篇文章主要給大家介紹了關(guān)于YOLOv5改進(jìn)教程之添加注意力機(jī)制的相關(guān)資料,需要的朋友可以參考下

本文主要給大家講解一下，如何在yolov5中添加注意力機(jī)制，

這里提供SE通道注意力的改進(jìn)方法，其他注意力的添加方法，大同小異

首先找到SE注意力機(jī)制的pytorch代碼

class SELayer(nn.Module):
    def __init__(self, c1, r=16):
        super(SELayer, self).__init__()
        self.avgpool = nn.AdaptiveAvgPool2d(1)
        self.l1 = nn.Linear(c1, c1 // r, bias=False)
        self.relu = nn.ReLU(inplace=True)
        self.l2 = nn.Linear(c1 // r, c1, bias=False)
        self.sig = nn.Sigmoid()
 
    def forward(self, x):
        b, c, _, _ = x.size()
        y = self.avgpool(x).view(b, c)
        y = self.l1(y)
        y = self.relu(y)
        y = self.l2(y)
        y = self.sig(y)
        y = y.view(b, c, 1, 1)
        return x * y.expand_as(x)

直接把SE注意力機(jī)制的程序，復(fù)制到models文件夾下面的common.py文件中

然后找到y(tǒng)olo.py，在這個(gè)文件中找到下面這一行

然后把SE添加到這個(gè)注冊表里，

直接在C3Ghost后面加上SELayer

然后是要修改yaml文件，對于SE這種即插即用的注意力機(jī)制，輸入和輸出的通道數(shù)相同，所以不會(huì)影響其他模塊的運(yùn)行

注意力機(jī)制也可以插在其他地方，只要注意把通道數(shù)對應(yīng)好就行

然后head部分也要進(jìn)行相應(yīng)的修改，因?yàn)槲覀兌嗉恿艘粚?，所以需要保持head以及最后的輸出層不變就得稍微改一下head部分，同樣，注意力機(jī)制也可以放在head里面，跟加在backbone里面的方法相同。

這是原始的head部分，需要修改成下面這樣

因?yàn)槲覀儼裇E注意力機(jī)制插在第八層之后，所以原先的14層就變成了15層，同樣的，最后的輸出也需要把層數(shù)加一。

添加這些注意力機(jī)制是yolov5最基礎(chǔ)的改進(jìn)，但是說實(shí)話，注意力機(jī)制可以添加在很多的地方，不一定會(huì)有效果，所以插在哪里效果最好就需要大家自行討論了。注意力機(jī)制也有很多種，se注意力機(jī)制應(yīng)該是屬于最基礎(chǔ)的通道注意力了吧

總結(jié)

到此這篇關(guān)于YOLOv5改進(jìn)教程之添加注意力機(jī)制的文章就介紹到這了,更多相關(guān)YOLOv5添加注意力機(jī)制內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: