1.邏輯回歸的限制

邏輯回歸分類的時(shí)候，是把線性的函數(shù)輸入進(jìn)sigmoid函數(shù)進(jìn)行轉(zhuǎn)換，后進(jìn)行分類，會(huì)在圖上畫出一條分類的直線，但像下圖這種情況，無論怎么畫，一條直線都不可能將其完全分開。

但假如我們可以對(duì)輸入的特征進(jìn)行一個(gè)轉(zhuǎn)換，便有可能完美分類。比如：

創(chuàng)造一個(gè)新的特征x1：到(0,0)的距離，另一個(gè)x2：到(1,1)的距離。這樣可以計(jì)算出四個(gè)點(diǎn)所對(duì)應(yīng)的新特征，畫到坐標(biāo)系上如以下右圖所示。這樣轉(zhuǎn)換之后，就可以將轉(zhuǎn)換后的數(shù)據(jù)，輸入給一個(gè)邏輯回歸，將其完全分開。

雖然我們不容易直接找到這樣的一個(gè)轉(zhuǎn)換標(biāo)準(zhǔn)，但我們可以通過邏輯回歸去尋找標(biāo)準(zhǔn)，使用第一個(gè)邏輯回歸，尋找第一個(gè)轉(zhuǎn)換后的參數(shù)x1， 再使用第二個(gè)邏輯回歸，尋找第二個(gè)轉(zhuǎn)換后的參數(shù)x2，將這兩個(gè)作為新的輸入，給到第三個(gè)邏輯回歸，即可完成分類。

因此，我們可以通過參數(shù)的調(diào)整，使得輸入的x1，x2歸屬于兩類的概率（其實(shí)就是一個(gè)0-1中間的數(shù)字，我們暫且稱為概率）如下圖所示。那么左上角的點(diǎn)屬于兩類的概率就是（0.73,0.05），同理，其他的點(diǎn)也有屬于兩類的概率，將其放到坐標(biāo)軸上，就完成了對(duì)特征的轉(zhuǎn)換。將轉(zhuǎn)換之后的結(jié)果作為輸入，給到一個(gè)新的邏輯回歸，就可以完成分類。

2.深度學(xué)習(xí)的引入

可以看出來，每一個(gè)邏輯回歸單元，既可以作為接受者，接收輸入數(shù)據(jù)，也可以作為發(fā)送者，將自己的輸出結(jié)果作為其他的邏輯回歸單元的輸入數(shù)據(jù)。

多個(gè)邏輯回歸單元交織在一起，就稱為神經(jīng)網(wǎng)絡(luò)，每一個(gè)邏輯回歸單元，就是一個(gè)神經(jīng)元。這種學(xué)習(xí)方式，就叫做深度學(xué)習(xí)。

以下是一個(gè)例子：

假設(shè)初始輸入數(shù)據(jù)是1和-1，并且所有的權(quán)重我們都知道，比如兩個(gè)數(shù)據(jù)到第一層兩個(gè)神經(jīng)元的權(quán)重分別是1，-1，-2, 1，然后通過sigmoid函數(shù)轉(zhuǎn)換后，那么我們就可以計(jì)算出結(jié)果分別是0.98,0.12，同樣的，假如我們知道后面所有的權(quán)重（參數(shù)），我們最終可以得到兩個(gè)輸出，0.62,0.83

當(dāng)最開頭的數(shù)據(jù)輸入是0和0，通過同樣的轉(zhuǎn)換，可以得到輸出0.51,0.85?？梢钥闯?，無論輸入是什么樣的，我們總能夠通過一系列參數(shù)，進(jìn)行一系列轉(zhuǎn)換，將其輸出成特征完全不一樣的數(shù)據(jù)。

因此，整個(gè)網(wǎng)絡(luò)可以看作是一個(gè)函數(shù)。更一般地，如下圖所示，每一個(gè)圓圈都是一個(gè)神經(jīng)元，最前面的輸入叫做輸入層，最后面沒有接任何神經(jīng)元的，叫做輸出層，中間所有的叫做隱藏層。像下圖這樣每一個(gè)神經(jīng)元都連接到下一層所有的神經(jīng)元，叫做全連接神經(jīng)網(wǎng)絡(luò)。

3.深度學(xué)習(xí)的計(jì)算方式

對(duì)于深度學(xué)習(xí)，通常使用矩陣運(yùn)算的方式進(jìn)行計(jì)算。

更一般地：

即上一層的參數(shù)*上一層給的輸入值 + 偏置項(xiàng)，再對(duì)整體進(jìn)行一個(gè)sigmoid函數(shù)轉(zhuǎn)化，就可以輸出一個(gè)本層的數(shù)據(jù)，供下層使用。對(duì)于所有的神經(jīng)元均是一樣的操作，一直到輸出層。

4.神經(jīng)網(wǎng)絡(luò)的損失函數(shù)

對(duì)于一個(gè)樣本來說，損失函數(shù)如下圖所示：

比如輸入的是樣本“1”，有256個(gè)像素點(diǎn)，也就是256個(gè)特征，將其輸入神經(jīng)網(wǎng)絡(luò)，最終得到的輸出是一個(gè)10維向量，每一個(gè)維度，都會(huì)有一個(gè)概率值，比如是“1”的概率為0.8， “2”的概率為0.1等等，而實(shí)際的標(biāo)簽是“1”，也就是只有y1hat是1，其他是0。將這兩個(gè)向量求出交叉熵并求和，如上圖的式子，得出的C就是這個(gè)樣本的損失。

對(duì)于整體而言，把所有的樣本損失算出來并求和即可。

以上就是python人工智能深度學(xué)習(xí)入門邏輯回歸限制的詳細(xì)內(nèi)容，更多關(guān)于python人工智能邏輯回歸限制的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！

最新評(píng)論