IRIS數(shù)據(jù)集簡(jiǎn)介

IRIS數(shù)據(jù)集中的數(shù)據(jù)源于1936年費(fèi)希爾法發(fā)表的一篇論文。彼時(shí)他收集了三種鳶尾花（分別標(biāo)記為setosa、versicolor和virginical）的花萼和花瓣數(shù)據(jù)。包括花萼的長(zhǎng)度和寬度，以及花瓣的長(zhǎng)度和寬度。我們將根據(jù)這四個(gè)特征來(lái)建立支持向量機(jī)模型從而實(shí)現(xiàn)對(duì)三種鳶尾花的分類(lèi)判別任務(wù)。

有關(guān)數(shù)據(jù)可以從datasets軟件包中的iris數(shù)據(jù)集里獲取，下面我們演示性地列出了前5行數(shù)據(jù)。成功載入數(shù)據(jù)后，易見(jiàn)其中共包含了150個(gè)樣本（被標(biāo)記為setosa、versicolor和virginica的樣本各50個(gè)），以及四個(gè)樣本特征，分別是Sepal.Length、Sepal.Width、Petal.Length和Petal.Width。

> iris
    Sepal.Length Sepal.Width Petal.Length Petal.Width    Species
1            5.1         3.5          1.4         0.2     setosa
2            4.9         3.0          1.4         0.2     setosa
3            4.7         3.2          1.3         0.2     setosa
4            4.6         3.1          1.5         0.2     setosa
5            5.0         3.6          1.4         0.2     setosa
6            5.4         3.9          1.7         0.4     setosa
7            4.6         3.4          1.4         0.3     setosa
8            5.0         3.4          1.5         0.2     setosa
9            4.4         2.9          1.4         0.2     setosa
10           4.9         3.1          1.5         0.1     setosa

在正式建模之前，我們也可以通過(guò)一個(gè)圖型來(lái)初步判定一下數(shù)據(jù)的分布情況，為此在R中使用如下代碼來(lái)繪制（僅選擇Petal.Length和Petal.Width這兩個(gè)特征時(shí)）數(shù)據(jù)的劃分情況。

library(lattice)
xyplot(Petal.Length ~ Petal.Width, data = iris,
       groups = Species,
       auto.key = list(corner=c(1, 0)))

上述代碼的執(zhí)行結(jié)果如圖14-13所示，從中不難發(fā)現(xiàn)，標(biāo)記為setosa的鳶尾花可以很容易地被劃分出來(lái)。但僅使用Petal.Length和Petal.Width這兩個(gè)特征時(shí)，versicolor和virginica之間尚不是線性可分的。

函數(shù)svm()在建立支持向量機(jī)分類(lèi)模型時(shí)有兩種方式。第一種是根據(jù)既定公式建立模型，此時(shí)的函數(shù)使用格式為：

svm(formula, data= NULL, subset, na.action = na.omit , scale= TRUE) 

其中:

• formula表示函數(shù)模型的形式
  
• data表示在模型中包含的有變量的一組可選格式數(shù)據(jù)
  
• 參數(shù)na.action用于指定當(dāng)樣本數(shù)據(jù)中存在無(wú)效的空數(shù)據(jù)時(shí)系統(tǒng)應(yīng)該進(jìn)行怎樣的處理。默認(rèn)值na.omit表示程序會(huì)忽略那些數(shù)據(jù)缺失的樣本。另外一個(gè)可選的賦值為na.fail，它指示系統(tǒng)在遇到空數(shù)據(jù)時(shí)給出一條錯(cuò)誤信息。
  
• 參數(shù)scale為一個(gè)邏輯向量指定特征是護(hù)具是否需要標(biāo)準(zhǔn)化（默認(rèn)標(biāo)準(zhǔn)化為均值0，方差1）
  
• 索引向量subset用于指定那些將來(lái)將被用來(lái)訓(xùn)練模型的采樣數(shù)據(jù)。
  

例如，已經(jīng)知道僅用Petal.Length和Petal.Width這兩個(gè)特征時(shí)標(biāo)記為setosa和versicolor的鳶尾花是線性可分的，所以我們用下面的代碼來(lái)構(gòu)建SVM模型：

data(iris)
attach(iris)
 
subdata <- iris[iris$Species != 'virginica', ]
subdata$Speices <- factor(subdata$Species)
model1 <- svm(Species ~ Petal.Length + Petal.Width, 
              data = subdata)
 
plot(model1, subdata, Petal.Length ~ Petal.Width)

繪制的模型如下:

在使用第一種格式建立模型時(shí)，若使用數(shù)據(jù)中的全部特征變量作為模型特征變量時(shí)，可以簡(jiǎn)要地使用“Species~．”中的“．”代替全部的特征變量。例如下面的代碼就利用了全部四種特征來(lái)對(duì)三種鳶尾花進(jìn)行分類(lèi)。

model2 <- svm(Species~., data = iris)
summary(model2)

summary函數(shù)的結(jié)果如下：

> model2 <- svm(Species~., data = iris)
> summary(model2)
 
Call:
svm(formula = Species ~ ., data = iris)
 
 
Parameters:
   SVM-Type:  C-classification 
 SVM-Kernel:  radial 
       cost:  1 
      gamma:  0.25 
 
Number of Support Vectors:  51
 
 ( 8 22 21 )
 
 
Number of Classes:  3 
 
Levels: 
 setosa versicolor virginica

通過(guò)summary函數(shù)可以得到關(guān)于模型的相關(guān)信息。

• 其中，SVM-Type項(xiàng)目說(shuō)明本模型的類(lèi)別為C分類(lèi)器模型；
• SVM-Kernel項(xiàng)目說(shuō)明本模型所使用的核函數(shù)為高斯內(nèi)積函數(shù)且核函數(shù)中參數(shù)gamma的取值為0.25；
• cost項(xiàng)目說(shuō)明本模型確定的約束違反成本為1；
• 此外我們可以看到，模型找到了51個(gè)支持向量：第一類(lèi)包含有8個(gè)支持向量，第二類(lèi)包含有22個(gè)支持想想，第三類(lèi)包含21個(gè)支持向量。
• 最后一行說(shuō)明模型中的三個(gè)類(lèi)別分別為setosa、versicolor和virginica。
  

第二種使用svm()函數(shù)的方式則是根據(jù)所給的數(shù)據(jù)建立模型。這種方式形式要復(fù)雜一些，但是它允許我們以一種更加靈活的方式來(lái)構(gòu)建模型。它的函數(shù)使用格式如下（注意我們僅列出了其中的主要參數(shù)）。

svm(x, y = NULL, scale = TRUE, type = NULL, kernel = "radial",  
degree = 3, gamma = if (is.vector(x)) 1 else 1 / ncol(x),  
coef0 = 0, cost = 1, nu = 0.5, subset, na.action = na.omit)  

其中：

• x可以是一個(gè)數(shù)據(jù)矩陣，也可以是一個(gè)數(shù)據(jù)向量，同時(shí)也可以是一個(gè)稀疏矩陣。y是對(duì)于x數(shù)據(jù)的結(jié)果標(biāo)簽，它既可以是字符向量也可以為數(shù)值向量。x和y共同決定了將要用來(lái)建模的訓(xùn)練數(shù)據(jù)以及模型的積分形式。
• 參數(shù)type用于指定建立模型的類(lèi)別。支持向量機(jī)模型通?？梢杂米鞣诸?lèi)模型、回歸模型和異常檢查模型。根據(jù)用途的不同，在svm函數(shù)中的type可取的值為C-classification、nu-classification、one-classification、eps-regression和nu-regression這五種類(lèi)型。其中前三種是針對(duì)于字符結(jié)果變量的分類(lèi)方式，其中第三種方式為邏輯判別，即判別結(jié)果輸出所需判別樣本是否屬于該類(lèi)別。而后兩種則是針對(duì)數(shù)值型結(jié)果變量的分類(lèi)方式。
• kernel是指在模型的建立過(guò)程中使用的核函數(shù)。針對(duì)線性不可分的問(wèn)題，為了提高模型預(yù)測(cè)精度，通常會(huì)只用核函數(shù)對(duì)原始數(shù)據(jù)進(jìn)行變換，提高原始特征維度，解決支持向量機(jī)模型線性不可分的問(wèn)題。svm函數(shù)中kernel參數(shù)有四個(gè)可選核函數(shù)，分別為線性核函數(shù)、多項(xiàng)式核函數(shù)、高斯核函數(shù)及神經(jīng)網(wǎng)絡(luò)核函數(shù)。其中，高斯核函數(shù)與多項(xiàng)式核函數(shù)被認(rèn)為是性能最好、也是最常用的核函數(shù)。

核函數(shù)有兩種主要類(lèi)型：局部性核函數(shù)和全局性核函數(shù)，高斯核函數(shù)是一個(gè)典型的局部性核函數(shù)，而多項(xiàng)式核函數(shù)則是一個(gè)典型的全局性核函數(shù)。局部性核函數(shù)僅僅在測(cè)試點(diǎn)附近小鄰域內(nèi)對(duì)數(shù)據(jù)點(diǎn)有影響，其學(xué)習(xí)能力強(qiáng)，泛化性能較弱；而全局性核函數(shù)則相對(duì)來(lái)說(shuō)泛化性能較強(qiáng)，學(xué)習(xí)能力較弱。

• 對(duì)于選定的核函數(shù)，degree參數(shù)是指核函數(shù)多項(xiàng)式內(nèi)積函數(shù)中的參數(shù)，其默認(rèn)值為3。gamma參數(shù)給出了一個(gè)核函數(shù)中除線性?xún)?nèi)積函數(shù)以外的所有函數(shù)的參數(shù)，默認(rèn)值為1.coef0參數(shù)是指核函數(shù)中多項(xiàng)式內(nèi)積函數(shù)sigmoid內(nèi)積函數(shù)的中的參數(shù)，默認(rèn)值為0.
• 參數(shù)cost是軟間隔模型中離群點(diǎn)權(quán)重。
• 最后，參數(shù)nu是用于nu-regression、nu-classification和one-classification類(lèi)型中的參數(shù)。

一個(gè)經(jīng)驗(yàn)性的結(jié)論為，在利用svm函數(shù)建立支持向量機(jī)模型時(shí)，使用標(biāo)準(zhǔn)化后的數(shù)據(jù)建立的模型效果更好。根據(jù)函數(shù)的第二種使用格式，在針對(duì)上述數(shù)據(jù)建立模型時(shí)，首先應(yīng)該將結(jié)果變量和特征變量分別提取出來(lái)。結(jié)果向量用一個(gè)向量表示，特征向量用一個(gè)矩陣表示。在確定好數(shù)據(jù)后還應(yīng)根據(jù)數(shù)據(jù)分析所使用的核函數(shù)以及核函數(shù)所對(duì)應(yīng)的參數(shù)值，通常默認(rèn)使用高斯內(nèi)積函數(shù)作為核函數(shù)。下面給出一段實(shí)例代碼：

# 提取iris數(shù)據(jù)集中除第五列以外的數(shù)據(jù)作為特征變量
x <- iris[, -5] 
# 提取iris數(shù)據(jù)集中第五列數(shù)據(jù)作為結(jié)果變量
y <- iris[, 5]
 
model3 <- svm(x, y, kernel = "radial", 
              gamma = if (is.vector(x)) 1 else 1 / ncol(x))

在使用第二種格式建立模型時(shí)，不需要特別強(qiáng)調(diào)所建立模型的形式，函數(shù)會(huì)自動(dòng)將所有輸入的特征變量數(shù)據(jù)作為建立模型所需要的特征向量。在上述過(guò)程中，確定核函數(shù)的gamma系數(shù)時(shí)所使用的代碼代表的意思為：如果特征向量是向量則gamma值取1，否則gamma值為特征向量個(gè)數(shù)的倒數(shù)。

在利用樣本數(shù)據(jù)建立模型之后，我們便可以利用模型來(lái)進(jìn)行相應(yīng)的預(yù)測(cè)和判別。基于svm函數(shù)建立的模型來(lái)進(jìn)行預(yù)測(cè)時(shí)，可以選用函數(shù)predict函數(shù)來(lái)完成相應(yīng)的工作。在使用該函數(shù)時(shí)，應(yīng)該首先確認(rèn)將要用于預(yù)測(cè)的樣本數(shù)據(jù)，并將樣本數(shù)據(jù)的特征變量整合后放入同一個(gè)矩陣。代碼如下：

pred <- predict(model3, x)
table(pred, y)

輸出結(jié)果：

> pred <- predict(model3, x)
> table(pred, y)
y
pred setosa versicolor virginica
setosa 50 0 0
versicolor 0 48 2
virginica 0 2 48

通常在進(jìn)行預(yù)測(cè)之后，還需要檢查模型預(yù)測(cè)的準(zhǔn)確程度，這時(shí)便需要使用函數(shù)table來(lái)對(duì)預(yù)測(cè)結(jié)果和真實(shí)結(jié)果做出對(duì)比展示。從上述代碼的輸出中，可以看到在模型預(yù)測(cè)時(shí)，模型將所有屬于setosa類(lèi)型的鳶尾花全部預(yù)測(cè)正確；模型將數(shù)據(jù)versicolor類(lèi)型的鳶尾花中有48朵預(yù)測(cè)正確，另外兩朵錯(cuò)誤的預(yù)測(cè)為virginica類(lèi)型；同樣，模型將屬于virginica類(lèi)型的鳶尾花中的48朵預(yù)測(cè)正確，但也將另外兩朵錯(cuò)誤的預(yù)測(cè)為versicolor類(lèi)型。

函數(shù)predict中的一個(gè)可選參數(shù)是decision.values，在默認(rèn)情況下，該參數(shù)的缺省值為FALSE。若將其值置為T(mén)RUE，那么函數(shù)的返回值中將包含有一個(gè)名為decision.values的屬性，該屬性是一個(gè)n*c的矩陣。這里，n是被預(yù)測(cè)的數(shù)據(jù)量，c是一個(gè)二分類(lèi)器的決策值。注意，因?yàn)槲覀兪褂弥С窒蛄繖C(jī)對(duì)樣本數(shù)據(jù)進(jìn)行分類(lèi)，分類(lèi)結(jié)果可能是有k個(gè)類(lèi)別。那么這k個(gè)類(lèi)別中任意兩類(lèi)之間都會(huì)有一個(gè)二分類(lèi)器。所以，我么可以推斷出總共的二分類(lèi)器數(shù)量為K(k-1)/2。決策值矩陣中的列名就是二分類(lèi)器的標(biāo)簽。代碼如下：

pred <- predict(model3, x, decision.values = TRUE)
attr(pred, "decision.values")[1:4, ]

輸出如下：

> pred <- predict(model3, x, decision.values = TRUE)
> attr(pred, "decision.values")[1:4, ]
setosa/versicolor setosa/virginica
1 1.196152 1.091757
2 1.064621 1.056185
3 1.180842 1.074542
4 1.110699 1.053012
versicolor/virginica
1 0.6708810
2 0.8483518
3 0.6439798
4 0.6782041

由于我們處理的是一個(gè)分類(lèi)問(wèn)題。所以分類(lèi)決策最終是經(jīng)由一個(gè)sign()函數(shù)來(lái)完成的。從上面的輸出中可以看到，對(duì)于樣本數(shù)據(jù)4而言，標(biāo)簽setosa/versicolor對(duì)應(yīng)的值大于0，因此屬于setosa類(lèi)；標(biāo)簽setosa/virginica對(duì)應(yīng)的值同樣大于0，因此數(shù)據(jù)setosa類(lèi)；在二分類(lèi)器versicolor/virginica中對(duì)應(yīng)的決策值大于0，判定屬于versicolor類(lèi)。所以，最終樣本數(shù)據(jù)4被判定數(shù)據(jù)setosa類(lèi)。

可視化模型，代碼如下：

> plot(cmdscale(dist(iris[,-5])),
+      col=c("orange", "blue", "green")[as.integer(iris[,5])],
+      pch=c("o", "+")[1:150 %in% model3$index + 1])
> 
> # ?legend
> legend(1.8, -0.5, c("setosa","versicolor", "virgincia"),
+        col = c("orange","blue","green"), lty = 1,
+        cex = 0.6, 
+        bty = "o", box.lty = 1, box.col = "black")

在圖中我們可以看到，鳶尾花中的第一種setosa類(lèi)別同其他兩種區(qū)別較大，而剩下的versicolor類(lèi)別和virginica類(lèi)別卻相差很小，甚至存在交叉難以區(qū)分。注意，這是在使用了全部四種特征之后仍然難以區(qū)分的。這也從另一個(gè)角度解釋了在模型預(yù)測(cè)過(guò)程中出現(xiàn)的問(wèn)題，所以模型誤將2朵versicolor 類(lèi)別的花預(yù)測(cè)成了virginica 類(lèi)別，而將2朵virginica 類(lèi)別的花錯(cuò)誤地預(yù)測(cè)成了versicolor 類(lèi)別，也就是很正?，F(xiàn)象了。

到此這篇關(guān)于R語(yǔ)言實(shí)現(xiàn)支持向量機(jī)SVM應(yīng)用案例的文章就介紹到這了,更多相關(guān)R語(yǔ)言支持向量機(jī)SVM內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論