詳解python 支持向量機(jī)(SVM)算法
相比于邏輯回歸,在很多情況下,SVM算法能夠?qū)?shù)據(jù)計算從而產(chǎn)生更好的精度。而傳統(tǒng)的SVM只能適用于二分類操作,不過卻可以通過核技巧(核函數(shù)),使得SVM可以應(yīng)用于多分類的任務(wù)中。
本篇文章只是介紹SVM的原理以及核技巧究竟是怎么一回事,最后會介紹sklearn svm各個參數(shù)作用和一個demo實(shí)戰(zhàn)的內(nèi)容,盡量通俗易懂。至于公式推導(dǎo)方面,網(wǎng)上關(guān)于這方面的文章太多了,這里就不多進(jìn)行展開了~
1.SVM簡介
支持向量機(jī),能在N維平面中,找到最明顯得對數(shù)據(jù)進(jìn)行分類的一個超平面!看下面這幅圖:
如上圖中,在二維平面中,有紅和藍(lán)兩類點(diǎn)。要對這兩類點(diǎn)進(jìn)行分類,可以有很多種分類方法,就如同圖中多條綠線,都可以把數(shù)據(jù)分成兩部分。
但SVM做的,是找到最好的那條線(二維空間),或者說那個超平面(更高維度的空間),來對數(shù)據(jù)進(jìn)行分類。這個最好的標(biāo)準(zhǔn),就是最大間距。
至于要怎么找到這個最大間距,要找到這個最大間距,這里大概簡單說一下,兩個類別的數(shù)據(jù),到超平面的距離之和,稱之為間隔。而要做的就是找到最大的間隔。
這最終就變成了一個最大化間隔的優(yōu)化問題。
2.SVM的核技巧
核技巧,主要是為了解決線性SVM無法進(jìn)行多分類以及SVM在某些線性不可分的情況下無法分類的情況。
比如下面這樣的數(shù)據(jù):
這種時候就可以使用核函數(shù),將數(shù)據(jù)轉(zhuǎn)換一下,比如這里,我們手動定義了一個新的點(diǎn),然后對所有的數(shù)據(jù),計算和這個新的點(diǎn)的歐式距離,這樣我們就得到一個新的數(shù)據(jù)。而其中,離這個新點(diǎn)距離近的數(shù)據(jù),就被歸為一類,否則就是另一類。這就是核函數(shù)。
這是最粗淺,也是比較直觀的介紹了。通過上面的介紹,是不是和Sigmoid有點(diǎn)像呢?都是通過將數(shù)據(jù)用一個函數(shù)進(jìn)行轉(zhuǎn)換,最終得到結(jié)果,其實(shí)啊,Sigmoid就是一鐘核函數(shù)來著,而上面說的那種方式,是高斯核函數(shù)。
這里補(bǔ)充幾點(diǎn):
- 1.上面的圖中只有一個點(diǎn),實(shí)際可以有無限多個點(diǎn),這就是為什么說SVM可以將數(shù)據(jù)映射到多維空間中。計算一個點(diǎn)的距離就是1維,2個點(diǎn)就是二維,3個點(diǎn)就是三維等等。。。
- 2.上面例子中的紅點(diǎn)是直接手動指定,實(shí)際情況中可沒辦法這樣,通常是用隨機(jī)產(chǎn)生,再慢慢試出最好的點(diǎn)。
- 3.上面舉例這種情況屬于高斯核函數(shù),而實(shí)際常見的核函數(shù)還有多項式核函數(shù),Sigmoid核函數(shù)等等。
OK,以上就是關(guān)于核技巧(核函數(shù))的初步介紹,更高級的這里也不展開了,網(wǎng)上的教程已經(jīng)非常多了。
接下來我們繼續(xù)介紹sklearn中SVM的應(yīng)用方面內(nèi)容。
3.sklearn中SVM的參數(shù)
def SVC(C=1.0, kernel='rbf', degree=3, gamma='auto_deprecated', coef0=0.0, shrinking=True, probability=False, tol=1e-3, cache_size=200, class_weight=None, verbose=False, max_iter=-1, decision_function_shape='ovr', random_state=None) - C:類似于Logistic regression中的正則化系數(shù),必須為正的浮點(diǎn)數(shù),默認(rèn)為 1.0,這個值越小,說明正則化效果越強(qiáng)。換句話說,這個值越小,越訓(xùn)練的模型更泛化,但也更容易欠擬合。 - kernel:核函數(shù)選擇,比較復(fù)雜,稍后介紹 - degree:多項式階數(shù),僅在核函數(shù)選擇多項式(即“poly”)的時候才生效,int類型,默認(rèn)為3。 - gamma:核函數(shù)系數(shù),僅在核函數(shù)為高斯核,多項式核,Sigmoid核(即“rbf“,“poly“ ,“sigmoid“)時生效。float類型,默認(rèn)為“auto”(即值為 1 / n_features)。 - coef0:核函數(shù)的獨(dú)立項,僅在核函數(shù)為多項式核核Sigmoid核(即“poly“ ,“sigmoid“)時生效。float類型,默認(rèn)為0.0。獨(dú)立項就是常數(shù)項。 - shrinking:不斷縮小的啟發(fā)式方法可以加快優(yōu)化速度。 就像在FAQ中說的那樣,它們有時會有所幫助,有時卻沒有幫助。 我認(rèn)為這是運(yùn)行時問題,而不是收斂問題。 - probability:是否使用概率評估,布爾類型,默認(rèn)為False。開啟的話會評估數(shù)據(jù)到每個分類的概率,不過這個會使用到較多的計算資源,慎用?。? - tol:停止迭代求解的閾值,單精度類型,默認(rèn)為1e-3。邏輯回歸也有這樣的一個參數(shù),功能都是一樣的。 - cache_size:指定使用多少內(nèi)存來運(yùn)行,浮點(diǎn)型,默認(rèn)200,單位是MB。 - class_weight:分類權(quán)重,也是和邏輯回歸的一樣,我直接就搬當(dāng)時的內(nèi)容了:分類權(quán)重,可以是一個dict(字典類型),也可以是一個字符串"balanced"字符串。默認(rèn)是None,也就是不做任何處理,而"balanced"則會去自動計算權(quán)重,分類越多的類,權(quán)重越低,反之權(quán)重越高。也可以自己輸出一個字典,比如一個 0/1 的二元分類,可以傳入{0:0.1,1:0.9},這樣 0 這個分類的權(quán)重是0.1,1這個分類的權(quán)重是0.9。這樣的目的是因?yàn)橛行┓诸悊栴},樣本極端不平衡,比如網(wǎng)絡(luò)攻擊,大部分正常流量,小部分攻擊流量,但攻擊流量非常重要,需要有效識別,這時候就可以設(shè)置權(quán)重這個參數(shù)。 - verbose:輸出詳細(xì)過程,int類型,默認(rèn)為0(不輸出)。當(dāng)大于等于1時,輸出訓(xùn)練的詳細(xì)過程。僅當(dāng)"solvers"參數(shù)設(shè)置為"liblinear"和"lbfgs"時有效。 - max_iter:最大迭代次數(shù),int類型,默認(rèn)-1(即無限制)。注意前面也有一個tol迭代限制,但這個max_iter的優(yōu)先級是比它高的,也就如果限制了這個參數(shù),那是不會去管tol這個參數(shù)的。 - decision_function_shape:多分類的方案選擇,有“ovo”,“ovr”兩種方案,也可以選則“None”,默認(rèn)是“ovr”,詳細(xì)區(qū)別見下面。 - random_state:隨時數(shù)種子。
sklearn-SVM參數(shù),kernel特征選擇
kernel:核函數(shù)選擇,字符串類型,可選的有“l(fā)inear”,“poly”,“rbf”,“sigmoid”,“precomputed”以及自定義的核函數(shù),默認(rèn)選擇是“rbf”。各個核函數(shù)介紹如下:
- “l(fā)inear”:線性核函數(shù),最基礎(chǔ)的核函數(shù),計算速度較快,但無法將數(shù)據(jù)從低維度演化到高維度
- “poly”:多項式核函數(shù),依靠提升維度使得原本線性不可分的數(shù)據(jù)變得線性可分
- “rbf”:高斯核函數(shù),這個可以映射到無限維度,缺點(diǎn)是計算量比較大
- “sigmoid”:Sigmoid核函數(shù),對,就是邏輯回歸里面的那個Sigmoid函數(shù),使用Sigmoid的話,其實(shí)就類似使用一個一層的神經(jīng)網(wǎng)絡(luò)
- “precomputed”:提供已經(jīng)計算好的核函數(shù)矩陣,sklearn不會再去計算,這個應(yīng)該不常用
- “自定義核函數(shù)”:sklearn會使用提供的核函數(shù)來進(jìn)行計算
說這么多,那么給個不大嚴(yán)謹(jǐn)?shù)耐扑]吧
樣本多,特征多,二分類,選擇線性核函數(shù)
樣本多,特征多,多分類,多項式核函數(shù)
樣本不多,特征多,二分類/多分類,高斯核函數(shù)
樣本不多,特征不多,二分類/多分類,高斯核函數(shù)
當(dāng)然,正常情況下,一般都是用交叉驗(yàn)證來選擇特征,上面所說只是一個較為粗淺的推薦。
sklearn-SVM參數(shù),多分類方案
其實(shí)這個在邏輯回歸里面已經(jīng)有說過了,這里還是多說一下。
原始的SVM是基于二分類的,但有些需求肯定是需要多分類。那么有沒有辦法讓SVM實(shí)現(xiàn)多分類呢?那肯定是有的,還不止一種。
實(shí)際上二元分類問題很容易推廣到多元邏輯回歸。比如總是認(rèn)為某種類型為正值,其余為0值。
舉個例子,要分類為A,B,C三類,那么就可以把A當(dāng)作正向數(shù)據(jù),B和C當(dāng)作負(fù)向數(shù)據(jù)來處理,這樣就可以用二分類的方法解決多分類的問題,這種方法就是最常用的one-vs-rest,簡稱OvR。而且這種方法也可以方便得推廣到其他二分類模型中(當(dāng)然其他算法可能有更好的多分類辦法)。
另一種多分類的方案是Many-vs-Many(MvM),它會選擇一部分類別的樣本和另一部分類別的樣本來做二分類。
聽起來很不可思議,但其實(shí)確實(shí)是能辦到的。比如數(shù)據(jù)有A,B,C三個分類。
我們將A,B作為正向數(shù)據(jù),C作為負(fù)向數(shù)據(jù),訓(xùn)練出一個分模型。再將A,C作為正向數(shù)據(jù),B作為負(fù)向數(shù)據(jù),訓(xùn)練出一個分類模型。最后B,C作為正向數(shù)據(jù),C作為負(fù)向數(shù)據(jù),訓(xùn)練出一個模型。
通過這三個模型就能實(shí)現(xiàn)多分類,當(dāng)然這里只是舉個例子,實(shí)際使用中有其他更好的MVM方法。限于篇幅這里不展開了。
MVM中最常用的是One-Vs-One(OvO)。OvO是MvM的特例。即每次選擇兩類樣本來做二元邏輯回歸。
對比下兩種多分類方法,通常情況下,Ovr比較簡單,速度也比較快,但模型精度上沒MvM那么高。MvM則正好相反,精度高,但速度上比不過Ovr。
4.sklearn SVM實(shí)戰(zhàn)
我們還是使用鳶尾花數(shù)據(jù)集,不過這次只使用其中的兩種花來進(jìn)行分類。首先準(zhǔn)備數(shù)據(jù):
import matplotlib.pyplot as plt import numpy as np from sklearn import svm,datasets import pandas as pd tem_X = iris.data[:, :2] tem_Y = iris.target new_data = pd.DataFrame(np.column_stack([tem_X,tem_Y])) #過濾掉其中一種類型的花 new_data = new_data[new_data[2] != 1.0] #生成X和Y X = new_data[[0,1]].values Y = new_data[[2]].values
然后用數(shù)據(jù)訓(xùn)練,并生成最終圖形
# 擬合一個SVM模型 clf = svm.SVC(kernel='linear') clf.fit(X, Y) # 獲取分割超平面 w = clf.coef_[0] # 斜率 a = -w[0] / w[1] # 從-5到5,順序間隔采樣50個樣本,默認(rèn)是num=50 # xx = np.linspace(-5, 5) # , num=50) xx = np.linspace(-2, 10) # , num=50) # 二維的直線方程 yy = a * xx - (clf.intercept_[0]) / w[1] print("yy=", yy) # plot the parallels to the separating hyperplane that pass through the support vectors # 通過支持向量繪制分割超平面 print("support_vectors_=", clf.support_vectors_) b = clf.support_vectors_[0] yy_down = a * xx + (b[1] - a * b[0]) b = clf.support_vectors_[-1] yy_up = a * xx + (b[1] - a * b[0]) # plot the line, the points, and the nearest vectors to the plane plt.plot(xx, yy, 'k-') plt.plot(xx, yy_down, 'k--') plt.plot(xx, yy_up, 'k--') plt.scatter(clf.support_vectors_[:, 0], clf.support_vectors_[:, 1], s=80, facecolors='none') plt.scatter(X[:, 0].flat, X[:, 1].flat, c='#86c6ec', cmap=plt.cm.Paired) # import operator # from functools import reduce # plt.scatter(X[:, 0].flat, X[:, 1].flat, c=reduce(operator.add, Y), cmap=plt.cm.Paired) plt.axis('tight') plt.show()
最終的SVM的分類結(jié)果如下:
以上就是詳解python 支持向量機(jī)(SVM)算法的詳細(xì)內(nèi)容,更多關(guān)于python SVM算法的資料請關(guān)注腳本之家其它相關(guān)文章!
- python 機(jī)器學(xué)習(xí)之支持向量機(jī)非線性回歸SVR模型
- python機(jī)器學(xué)習(xí)理論與實(shí)戰(zhàn)(六)支持向量機(jī)
- python機(jī)器學(xué)習(xí)理論與實(shí)戰(zhàn)(五)支持向量機(jī)
- Python機(jī)器學(xué)習(xí)之SVM支持向量機(jī)
- Python 支持向量機(jī)分類器的實(shí)現(xiàn)
- Python中的支持向量機(jī)SVM的使用(附實(shí)例代碼)
- Python SVM(支持向量機(jī))實(shí)現(xiàn)方法完整示例
- Python機(jī)器學(xué)習(xí)應(yīng)用之支持向量機(jī)的分類預(yù)測篇
相關(guān)文章
selenium+python實(shí)現(xiàn)1688網(wǎng)站驗(yàn)證碼圖片的截取功能
這篇文章主要介紹了selenium+python實(shí)現(xiàn)1688網(wǎng)站驗(yàn)證碼圖片的截取,需要的朋友可以參考下2018-08-08利用Python輕松實(shí)現(xiàn)視頻轉(zhuǎn)GIF動圖
在看視頻的時候覺得某段非常有意思想弄成動圖,但是無從下手!本文就將介紹如何利用Python搞定這一需求,感興趣的小伙伴可以學(xué)習(xí)一下2022-01-01python爬蟲用request庫處理cookie的實(shí)例講解
在本篇內(nèi)容里小編給大家整理的是一篇關(guān)于python爬蟲用request庫處理cookie的實(shí)例講解內(nèi)容,有需要的朋友們可以學(xué)習(xí)參考下。2021-02-02Python執(zhí)行遺傳編程gplearn庫使用實(shí)例探究
這篇文章主要為大家介紹了Python執(zhí)行遺傳編程gplearn庫使用實(shí)例探究,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2024-01-01用Python實(shí)現(xiàn)命令行鬧鐘腳本實(shí)例
今天我們講一下用Python寫的一個小腳本。這是一個可以在命令行運(yùn)行的鬧鐘腳本,對于日常大家工作很實(shí)用,有需要的朋友們可以參考借鑒。2016-09-09