做機(jī)器學(xué)習(xí)的一定對(duì)支持向量機(jī)（support vector machine-SVM）頗為熟悉，因?yàn)樵谏疃葘W(xué)習(xí)出現(xiàn)之前，SVM一直霸占著機(jī)器學(xué)習(xí)老大哥的位子。他的理論很優(yōu)美，各種變種改進(jìn)版本也很多，比如latent-SVM, structural-SVM等。這節(jié)先來看看SVM的理論吧，在（圖一）中A圖表示有兩類的數(shù)據(jù)集，圖B,C,D都提供了一個(gè)線性分類器來對(duì)數(shù)據(jù)進(jìn)行分類？但是哪個(gè)效果好一些？

（圖一）

        可能對(duì)這個(gè)數(shù)據(jù)集來說，三個(gè)的分類器都一樣足夠好了吧，但是其實(shí)不然，這個(gè)只是訓(xùn)練集，現(xiàn)實(shí)測(cè)試的樣本分布可能會(huì)比較散一些，各種可能都有，為了應(yīng)對(duì)這種情況，我們要做的就是盡可能的使得線性分類器離兩個(gè)數(shù)據(jù)集都盡可能的遠(yuǎn)，因?yàn)檫@樣就會(huì)減少現(xiàn)實(shí)測(cè)試樣本越過分類器的風(fēng)險(xiǎn)，提高檢測(cè)精度。這種使得數(shù)據(jù)集到分類器之間的間距（margin）最大化的思想就是支持向量機(jī)的核心思想，而離分類器距離最近的樣本成為支持向量。既然知道了我們的目標(biāo)就是為了尋找最大邊距，怎么尋找支持向量？如何實(shí)現(xiàn)？下面以（圖二）來說明如何完成這些工作。

（圖二）

假設(shè)（圖二）中的直線表示一個(gè)超面，為了方面觀看顯示成一維直線，特征都是超面維度加一維度的，圖中也可以看出，特征是二維，而分類器是一維的。如果特征是三維的，分類器就是一個(gè)平面。假設(shè)超面的解析式為，那么點(diǎn)A到超面的距離為,下面給出這個(gè)距離證明：

（圖三）

在（圖三）中，青色菱形表示超面，Xn為數(shù)據(jù)集中一點(diǎn)，W是超面權(quán)重，而且W是垂直于超面的。證明垂直很簡(jiǎn)單，假設(shè)X'和X''都是超面上的一點(diǎn)，

因此W垂直于超面。知道了W垂直于超面，那么Xn到超面的距離其實(shí)就是Xn和超面上任意一點(diǎn)x的連線在W上的投影，如（圖四）所示：

套進(jìn)拉格朗日乘子法公式得到如（公式五）所示的樣子：

（公式五）

        在（公式五）中通過拉格朗日乘子法函數(shù)分別對(duì)W和b求導(dǎo)，為了得到極值點(diǎn)，令導(dǎo)數(shù)為0，得到

 ,然后把他們代入拉格朗日乘子法公式里得到（公式六）的形式：

（公式六）

     （公式六）后兩行是目前我們要求解的優(yōu)化函數(shù)，現(xiàn)在只需要做個(gè)二次規(guī)劃即可求出alpha,二次規(guī)劃優(yōu)化求解如（公式七）所示：

（公式七）

         通過（公式七）求出alpha后，就可以用（公式六）中的第一行求出W。到此為止，SVM的公式推導(dǎo)基本完成了，可以看出數(shù)學(xué)理論很嚴(yán)密，很優(yōu)美，盡管有些同行們認(rèn)為看起枯燥，但是最好沉下心來從頭看完，也不難，難的是優(yōu)化。二次規(guī)劃求解計(jì)算量很大，在實(shí)際應(yīng)用中常用SMO（Sequential minimal optimization）算法，SMO算法打算放在下節(jié)結(jié)合代碼來說。

參考文獻(xiàn)：

     [1]machine learning in action. Peter Harrington

     [2] Learning From Data. Yaser S.Abu-Mostafa

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

最新評(píng)論