快捷導(dǎo)航

特征臉(Eigenface)理論基礎(chǔ)之PCA主成分分析法

更新時(shí)間：2018年03月13日 09:09:20 作者：兔死機(jī)

這篇文章主要為大家詳細(xì)介紹了特征臉理論基礎(chǔ)之PCA主成分分析法，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下

在之前的博客人臉識(shí)別經(jīng)典算法一：特征臉?lè)椒ǎ‥igenface）里面介紹了特征臉?lè)椒ǖ脑?，但是并沒(méi)有對(duì)它用到的理論基礎(chǔ)PCA做介紹，現(xiàn)在做補(bǔ)充。請(qǐng)將這兩篇博文結(jié)合起來(lái)閱讀。以下內(nèi)容大部分參考自斯坦福機(jī)器學(xué)習(xí)課程：http://cs229.stanford.edu/materials.html

假設(shè)我們有一個(gè)關(guān)于機(jī)動(dòng)車(chē)屬性的數(shù)據(jù)集{x(i);i=1,...,m}（m代表機(jī)動(dòng)車(chē)的屬性個(gè)數(shù)），例如最大速度，最大轉(zhuǎn)彎半徑等。假設(shè)x(i)本質(zhì)上是n維的空間的一個(gè)元素，其中n<<m，但是n對(duì)我們來(lái)說(shuō)是未知的。假設(shè)xi和xj分別代表車(chē)以英里和公里為單位的最大速度。顯然這兩個(gè)屬性是冗余的，因?yàn)樗鼈儍蓚€(gè)是有線性關(guān)系而且可以相互轉(zhuǎn)化的。因此如果僅以xi和xj來(lái)考慮的話，這個(gè)數(shù)據(jù)集是屬于m-1維而不是m維空間的，所以n=m-1。推廣之，我們?cè)撚檬裁捶椒ń档蛿?shù)據(jù)冗余性呢？

首先考慮一個(gè)例子，假設(shè)有一份對(duì)遙控直升機(jī)操作員的調(diào)查，用x(i)1（1是下標(biāo)，原諒我這操蛋的排版吧）表示飛行員i的飛行技能，x(i)2表示飛行員i喜歡飛行的程度。通常遙控直升飛機(jī)是很難操作的，只有那些非常堅(jiān)持而且真正喜歡駕駛的人才能熟練操作。所以這兩個(gè)屬性x(i)1和x(i)2相關(guān)性是非常強(qiáng)的。我們可以假設(shè)兩者的關(guān)系是按正比關(guān)系變化的，如下圖里的u1所示，數(shù)據(jù)散布在u1兩側(cè)是因?yàn)橛猩僭S噪聲。

接下來(lái)就是如何計(jì)算u1的方向了。首先我們需要預(yù)處理數(shù)據(jù)。

1.令

2.用x(i)-μ替代x(i)

3.求

4.用x(i)j/σj替代x(i)j

步驟1-2其實(shí)是將數(shù)據(jù)集的均值歸零，也就是只取數(shù)據(jù)的偏差部分，對(duì)于本身均值為零的數(shù)據(jù)可以忽略這兩步。步驟3-4是按照每個(gè)屬性的方差將數(shù)據(jù)重新度量，也可以理解為歸一化。因?yàn)閷?duì)于不同的屬性（比如車(chē)的速度和車(chē)座數(shù)目）如果不歸一化是不具有比較性的，兩者不在一個(gè)量級(jí)上。如果將pca應(yīng)用到圖像上的話是不需要步驟3-4的，因?yàn)槊總€(gè)像素（相當(dāng)于不同的屬性）的取值范圍都是一樣的。

數(shù)據(jù)經(jīng)過(guò)如上處理之后，接下來(lái)就是尋找數(shù)據(jù)大致的走向了。一種方法是找到一個(gè)單位向量u，使所有數(shù)據(jù)在u上的投影之和最大，當(dāng)然數(shù)據(jù)并不是嚴(yán)格按照u的方向分布的，而是分布在其周?chē)?。考慮下圖的數(shù)據(jù)分布（這些數(shù)據(jù)已經(jīng)做了前期的預(yù)處理）。

下圖中，星號(hào)代表數(shù)據(jù)，原點(diǎn)代表數(shù)據(jù)在單位向量u上的投影（|x||u|cosΘ）

從上圖可以看到，投影得到的數(shù)據(jù)仍然有很大的方差，而且投影點(diǎn)離原點(diǎn)很遠(yuǎn)。如果采取與上圖u垂直的方向，則可以得到下圖：

這里得到的投影方差比較小，而且離原點(diǎn)也更近。

上述u的方向只是感性的選擇出來(lái)的，為了將選擇u的步驟正式確定下來(lái)，可以假定在給定單位向量u和數(shù)據(jù)點(diǎn)x的情況下，投影的長(zhǎng)度是xTu。舉個(gè)例子,如果x(i)是數(shù)據(jù)集中的一個(gè)點(diǎn)（上圖中的一個(gè)星號(hào)），那它在u上的投影xTu就是圓點(diǎn)到原點(diǎn)的距離（是標(biāo)量哦）。所以，為了最大化投影的方差，我們需要選擇一個(gè)單位向量u來(lái)最大化下式：

_{明顯，按照||u||2=1（確保u是單位向量）來(lái)最大化上式就是求的主特征向量。而其實(shí)是數(shù)據(jù)集的協(xié)方差矩陣。}

做個(gè)總結(jié)，如果我們要找數(shù)據(jù)集分布的一維子空間（就是將m維的數(shù)據(jù)用一維數(shù)據(jù)來(lái)表示），我們要選擇協(xié)方差矩陣的主特征向量。推廣之，如果要找k維的子空間，那就應(yīng)該選擇協(xié)方差矩陣的k個(gè)特征向量u1,u2,...,uk。ui(i=1,2,...,k)就是用來(lái)表征數(shù)據(jù)集的新坐標(biāo)系。

為了在u1,u2,...,uk的基礎(chǔ)上表示x(i)，我們只需要計(jì)算