通過約束類的協(xié)方差相等，將貝葉斯分類器簡化為線性分類器。
比較生成模型和判別模型在挑戰(zhàn)性分類任務(wù)中的性能。

在本實(shí)驗(yàn)課中：我們將比較線性分類的“生成建模”和“判別建模”方法。對于“生成”方法，我們將重新討論我們在前面練習(xí)中使用的貝葉斯分類代碼，但我們將限制系統(tǒng)具有相等的協(xié)方差矩陣，即一個(gè)協(xié)方差矩陣來表示所有類別，而不是每個(gè)類別都有其自己的協(xié)方差矩陣。在這種情況下，系統(tǒng)成為線性分類器。我們將把它與“判別式”方法進(jìn)行比較，在這種方法中，我們使用感知器學(xué)習(xí)算法直接學(xué)習(xí)線性分類器參數(shù)。

在本筆記本中，我們將使用UCI機(jī)器學(xué)習(xí)庫中的另一個(gè)數(shù)據(jù)集：鮑魚數(shù)據(jù)。鮑魚是一種海螺。一個(gè)樣本的年齡可以通過在圓錐體上切割外殼和用顯微鏡（更像是樹木）計(jì)數(shù)環(huán)來確定，但這是一個(gè)耗時(shí)且昂貴的過程。這里的任務(wù)是通過簡單的外部測量動(dòng)物的重量和尺寸，嘗試并預(yù)測環(huán)的數(shù)量。對于我們正在使用的數(shù)據(jù)集，環(huán)數(shù)的真實(shí)值是已知的（即，在測量蝸牛后對環(huán)進(jìn)行計(jì)數(shù)）。結(jié)果從1到29個(gè)環(huán)不等，因此這通常被視為29類分類問題。為了簡化一些，我將數(shù)據(jù)重新組合成兩個(gè)大小大致相同的類：年輕（少于10個(gè)環(huán)）和老年（10個(gè)或更多個(gè)環(huán)）。我也只采集了女性樣本。有7個(gè)測量值（都是高度相關(guān)的）用于預(yù)測類別標(biāo)簽。

生成性建模：具有等協(xié)變多元正態(tài)分布的貝葉斯分類。
與上一個(gè)介紹相比，有更多的樣本（1306個(gè)，178個(gè)），因此我們不必?fù)?dān)心遺漏一個(gè)測試，相反，我們只需像上一個(gè)一樣，將數(shù)據(jù)切割成大小相同的測試和訓(xùn)練集。
通過修改上次編寫的代碼，使用具有完全協(xié)方差矩陣的多元正態(tài)分布來評(píng)估貝葉斯分類器的性能。在考慮對代碼進(jìn)行更改時(shí)，請注意，主要區(qū)別在于本筆記本中只有兩個(gè)類，而不是三個(gè)。（如果您愿意，您可以嘗試將代碼包裝到函數(shù)中，看看是否可以將其設(shè)計(jì)為適用于任意數(shù)量的類。）
您的分類器的性能如何？此任務(wù)的分?jǐn)?shù)可能在60%-70%之間，因此，如果性能似乎比前一個(gè)任務(wù)差很多，請不要擔(dān)心。如果性能低于60%，那么您應(yīng)該檢查代碼是否存在可能的bug。

import numpy as np
X = np.loadtxt(open("data/abalone.txt", "r"))
X.shape
from scipy.stats import multivariate_normal
import matplotlib.pyplot as plt

%matplotlib inline

abalone1 = X[X[:, 0] == 1, :]
abalone2 = X[X[:, 0] == 2, :]
abalone1_test = abalone1[0::2, :]
abalone1_train = abalone1[1::2, :]
abalone2_test = abalone2[0::2, :]
abalone2_train = abalone2[1::2, :]
abalone_test = np.vstack((abalone1_test, abalone2_test))
abalone_test.shape

mean1 = np.mean(abalone1_train[:, 1:], axis=0)
mean2 = np.mean(abalone2_train[:, 1:], axis=0)
cov1 = np.cov(abalone1_train[:, 1:], rowvar=0)
cov2 = np.cov(abalone2_train[:, 1:], rowvar=0)

dist1 = multivariate_normal(mean=mean1, cov=cov1)
dist2 = multivariate_normal(mean=mean2, cov=cov2)

p1 = dist1.pdf(abalone_test[:, 1:])
p2 = dist2.pdf(abalone_test[:, 1:])

p = np.vstack((p1, p2))

index = np.argmax(p, axis=0) + 1

plt.plot(index, "k.", ms=10)

correct = abalone_test[:, 0] == index
percent_correct = np.sum(correct) * 100.0 / index.shape
print(percent_correct)

rowvarbool，可選

如果rowvar為True（默認(rèn)），則每行表示一個(gè)變量，列中包含觀察值。否則，關(guān)系將被轉(zhuǎn)換：每列表示一個(gè)變量，而行包含觀察值。

使用等協(xié)方差矩陣:

如果您正確地遵循了與上一本筆記相同的步驟，您將為每個(gè)類估計(jì)出一個(gè)單獨(dú)的協(xié)方差矩陣。這些矩陣將不相等，因此您的系統(tǒng)將不是線性分類器（即，它將具有非平面決策邊界）。為了將其簡化為線性系統(tǒng)，我們需要確保只有一個(gè)協(xié)方差矩陣。您可以想象這樣做的不

同方式：

首先，您可以想象簡單地從完整的訓(xùn)練集中估計(jì)單個(gè)協(xié)方差矩陣，然后再將其劃分為類。這將生成一個(gè)矩陣，但這不是正確的做法。我們希望矩陣表示類內(nèi)的分布，如果您僅使用完整的訓(xùn)練數(shù)據(jù)集訓(xùn)練模型，它還將捕獲類間的分布。
其次，可以想象平均兩個(gè)類相關(guān)協(xié)方差矩陣。這更接近于正確的情況，但它沒有考慮到類的示例數(shù)可能不相等這一事實(shí)。
最好的方法是首先將兩個(gè)類的中心移動(dòng)到同一點(diǎn)上，然后將它們視為單個(gè)類。要將類中心移動(dòng)到同一點(diǎn)上，只需從每個(gè)數(shù)據(jù)樣本中減去類平均向量。

def centre_data(data):
? ? nsamples = data.shape[0]
? ? data_mean = np.mean(data, axis=0)
? ? data_centred = data - data_mean
? ? return data_centred


abalone1_centred = centre_data(abalone1_train)
abalone2_centred = centre_data(abalone2_train)

abalone_centred = np.vstack((abalone1_centred, abalone2_centred))

cov_global = np.cov(abalone_centred[:, 1:], rowvar=0)

dist1 = multivariate_normal(mean=mean1, cov=cov_global)
dist2 = multivariate_normal(mean=mean2, cov=cov_global)

p1 = dist1.pdf(abalone_test[:, 1:])
p2 = dist2.pdf(abalone_test[:, 1:])

p = np.vstack((p1, p2))

index = np.argmax(p, axis=0) + 1

plt.plot(index, "k.", ms=10)

correct = abalone_test[:, 0] == index
percent_correct = np.sum(correct) * 100.0 / index.shape
print(percent_correct)

到此這篇關(guān)于Python線性分類介紹的文章就介紹到這了,更多相關(guān)Python線性分類內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論