細(xì)數(shù)nn.BCELoss與nn.CrossEntropyLoss的區(qū)別
以前我瀏覽博客的時候記得別人說過，BCELoss與CrossEntropyLoss都是用于分類問題?？梢灾溃珺CELoss是Binary CrossEntropyLoss的縮寫，BCELoss CrossEntropyLoss的一個特例，只用于二分類問題，而CrossEntropyLoss可以用于二分類，也可以用于多分類。
不過我重新查閱了一下資料，發(fā)現(xiàn)同樣是處理二分類問題，BCELoss與CrossEntropyLoss是不同的。下面我詳細(xì)講一下哪里不同。
1、使用nn.BCELoss需要在該層前面加上Sigmoid函數(shù)。
公式如下：
2、使用nn.CrossEntropyLoss會自動加上Sofrmax層。
公式如下：
可以看出，這兩個計算損失的函數(shù)使用的激活函數(shù)不同，故而最后的計算公式不同。
補(bǔ)充拓展：pytorch的BCELoss和cross entropy
BCELoss:
torch.nn.BCELoss:
Input: (N, *)(N,∗) where *∗ means, any number of additional dimensions Target: (N, *)(N,∗), same shape as the input Output: scalar. If reduction is 'none', then (N, *)(N,∗), same shape as input.
這里的輸入和target 目標(biāo)必須形狀一致，并且都是浮點(diǎn)數(shù)，二分類中一般用sigmoid的把輸出挑出一個數(shù)：
>>> m = nn.Sigmoid() >>> loss = nn.BCELoss() >>> input = torch.randn(3, requires_grad=True) >>> target = torch.empty(3).random_(2) >>> output = loss(m(input), target) >>> output.backward()
CrossEntropyLoss:
input(N,C) #n 是batch c是類別 target(N)
輸入和target 形狀是不同的crossEntropy 是自己會做softmax
>>> loss = nn.CrossEntropyLoss() >>> input = torch.randn(3, 5, requires_grad=True) >>> target = torch.empty(3, dtype=torch.long).random_(5) >>> output = loss(input, target) >>> output.backward()
以上這篇細(xì)數(shù)nn.BCELoss與nn.CrossEntropyLoss的區(qū)別就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
Django報錯TemplateDoesNotExist的問題及解決
這篇文章主要介紹了Django報錯TemplateDoesNotExist的問題及解決方案,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-08-08
Python?Scala中使用def語句定義方法的詳細(xì)過程
這篇文章主要介紹了Python?Scala中使用def語句定義方法,Scala的方法是類的一部分，而函數(shù)是一個對象可以賦值給一個變量，下面來講解Scala的方法，需要的朋友可以參考下2022-09-09
這篇文章主要給大家介紹了關(guān)于Python中處理JSON文件的超詳細(xì)指南,json模塊是python內(nèi)置的庫,不需要額外安裝就可以導(dǎo)入運(yùn)行,json模塊的主要功能是將序列化數(shù)據(jù)從文件里讀取出來或者存入文件,需要的朋友可以參考下2024-05-05
這篇文章主要介紹了python先序遍歷二叉樹問題，簡單分析了問題，然后向大家分享了代碼示例，具有一定參考價值，需要的朋友可以了解下。2017-11-11
Python如何利用pandas讀取csv數(shù)據(jù)并繪圖
這篇文章主要介紹了Python如何利用pandas讀取csv數(shù)據(jù)并繪圖，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-07-07
淺析python連接數(shù)據(jù)庫的重要事項(xiàng)
這篇文章主要介紹了python連接數(shù)據(jù)庫的重要事項(xiàng),本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2021-02-02
今天小編就為大家分享一篇Python繪制并保存指定大小圖像的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-01-01
Python中輸入和輸出（打?。?shù)據(jù)實(shí)例方法
在本篇文章里小編給大家整理的是關(guān)于Python中輸入和輸出（打印）數(shù)據(jù)實(shí)例方法以及相關(guān)知識點(diǎn)，有需要的朋友們參考下。2019-10-10
這篇文章主要介紹了python如何生成任意n階的三對角矩陣，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-05-05
今天小編就為大家分享一篇python 操作hive pyhs2方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-12-12