Python使用三種方法實(shí)現(xiàn)PCA算法
主成分分析,即Principal Component Analysis(PCA),是多元統(tǒng)計(jì)中的重要內(nèi)容,也廣泛應(yīng)用于機(jī)器學(xué)習(xí)和其它領(lǐng)域。它的主要作用是對(duì)高維數(shù)據(jù)進(jìn)行降維。PCA把原先的n個(gè)特征用數(shù)目更少的k個(gè)特征取代,新特征是舊特征的線性組合,這些線性組合最大化樣本方差,盡量使新的k個(gè)特征互不相關(guān)。關(guān)于PCA的更多介紹,請(qǐng)參考:https://en.wikipedia.org/wiki/Principal_component_analysis.
主成分分析(PCA) vs 多元判別式分析(MDA)
PCA和MDA都是線性變換的方法,二者關(guān)系密切。在PCA中,我們尋找數(shù)據(jù)集中最大化方差的成分,在MDA中,我們對(duì)類間最大散布的方向更感興趣。
一句話,通過(guò)PCA,我們將整個(gè)數(shù)據(jù)集(不帶類別標(biāo)簽)映射到一個(gè)子空間中,在MDA中,我們致力于找到一個(gè)能夠最好區(qū)分各類的最佳子集。粗略來(lái)講,PCA是通過(guò)尋找方差最大的軸(在一類中,因?yàn)镻CA把整個(gè)數(shù)據(jù)集當(dāng)做一類),在MDA中,我們還需要最大化類間散布。
在通常的模式識(shí)別問(wèn)題中,MDA往往在PCA后面。
PCA的主要算法如下:
- 組織數(shù)據(jù)形式,以便于模型使用;
- 計(jì)算樣本每個(gè)特征的平均值;
- 每個(gè)樣本數(shù)據(jù)減去該特征的平均值(歸一化處理);
- 求協(xié)方差矩陣;
- 找到協(xié)方差矩陣的特征值和特征向量;
- 對(duì)特征值和特征向量重新排列(特征值從大到小排列);
- 對(duì)特征值求取累計(jì)貢獻(xiàn)率;
- 對(duì)累計(jì)貢獻(xiàn)率按照某個(gè)特定比例,選取特征向量集的字跡合;
- 對(duì)原始數(shù)據(jù)(第三步后)。
其中協(xié)方差矩陣的分解可以通過(guò)按對(duì)稱矩陣的特征向量來(lái),也可以通過(guò)分解矩陣的SVD來(lái)實(shí)現(xiàn),而在Scikit-learn中,也是采用SVD來(lái)實(shí)現(xiàn)PCA算法的。
本文將用三種方法來(lái)實(shí)現(xiàn)PCA算法,一種是原始算法,即上面所描述的算法過(guò)程,具體的計(jì)算方法和過(guò)程,可以參考:A tutorial on Principal Components Analysis, Lindsay I Smith. 一種是帶SVD的原始算法,在Python的Numpy模塊中已經(jīng)實(shí)現(xiàn)了SVD算法,并且將特征值從大從小排列,省去了對(duì)特征值和特征向量重新排列這一步。最后一種方法是用Python的Scikit-learn模塊實(shí)現(xiàn)的PCA類直接進(jìn)行計(jì)算,來(lái)驗(yàn)證前面兩種方法的正確性。
用以上三種方法來(lái)實(shí)現(xiàn)PCA的完整的Python如下:
import numpy as np
from sklearn.decomposition import PCA
import sys
#returns choosing how many main factors
def index_lst(lst, component=0, rate=0):
#component: numbers of main factors
#rate: rate of sum(main factors)/sum(all factors)
#rate range suggest: (0.8,1)
#if you choose rate parameter, return index = 0 or less than len(lst)
if component and rate:
print('Component and rate must choose only one!')
sys.exit(0)
if not component and not rate:
print('Invalid parameter for numbers of components!')
sys.exit(0)
elif component:
print('Choosing by component, components are %s......'%component)
return component
else:
print('Choosing by rate, rate is %s ......'%rate)
for i in range(1, len(lst)):
if sum(lst[:i])/sum(lst) >= rate:
return i
return 0
def main():
# test data
mat = [[-1,-1,0,2,1],[2,0,0,-1,-1],[2,0,1,1,0]]
# simple transform of test data
Mat = np.array(mat, dtype='float64')
print('Before PCA transforMation, data is:\n', Mat)
print('\nMethod 1: PCA by original algorithm:')
p,n = np.shape(Mat) # shape of Mat
t = np.mean(Mat, 0) # mean of each column
# substract the mean of each column
for i in range(p):
for j in range(n):
Mat[i,j] = float(Mat[i,j]-t[j])
# covariance Matrix
cov_Mat = np.dot(Mat.T, Mat)/(p-1)
# PCA by original algorithm
# eigvalues and eigenvectors of covariance Matrix with eigvalues descending
U,V = np.linalg.eigh(cov_Mat)
# Rearrange the eigenvectors and eigenvalues
U = U[::-1]
for i in range(n):
V[i,:] = V[i,:][::-1]
# choose eigenvalue by component or rate, not both of them euqal to 0
Index = index_lst(U, component=2) # choose how many main factors
if Index:
v = V[:,:Index] # subset of Unitary matrix
else: # improper rate choice may return Index=0
print('Invalid rate choice.\nPlease adjust the rate.')
print('Rate distribute follows:')
print([sum(U[:i])/sum(U) for i in range(1, len(U)+1)])
sys.exit(0)
# data transformation
T1 = np.dot(Mat, v)
# print the transformed data
print('We choose %d main factors.'%Index)
print('After PCA transformation, data becomes:\n',T1)
# PCA by original algorithm using SVD
print('\nMethod 2: PCA by original algorithm using SVD:')
# u: Unitary matrix, eigenvectors in columns
# d: list of the singular values, sorted in descending order
u,d,v = np.linalg.svd(cov_Mat)
Index = index_lst(d, rate=0.95) # choose how many main factors
T2 = np.dot(Mat, u[:,:Index]) # transformed data
print('We choose %d main factors.'%Index)
print('After PCA transformation, data becomes:\n',T2)
# PCA by Scikit-learn
pca = PCA(n_components=2) # n_components can be integer or float in (0,1)
pca.fit(mat) # fit the model
print('\nMethod 3: PCA by Scikit-learn:')
print('After PCA transformation, data becomes:')
print(pca.fit_transform(mat)) # transformed data
main()
運(yùn)行以上代碼,輸出結(jié)果為:

這說(shuō)明用以上三種方法來(lái)實(shí)現(xiàn)PCA都是可行的。這樣我們就能理解PCA的具體實(shí)現(xiàn)過(guò)程啦~~有興趣的讀者可以用其它語(yǔ)言實(shí)現(xiàn)一下哈
以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
- 在Python中使用K-Means聚類和PCA主成分分析進(jìn)行圖像壓縮
- python實(shí)現(xiàn)PCA降維的示例詳解
- Python sklearn庫(kù)實(shí)現(xiàn)PCA教程(以鳶尾花分類為例)
- 利用python-pypcap抓取帶VLAN標(biāo)簽的數(shù)據(jù)包方法
- python 抓包保存為pcap文件并解析的實(shí)例
- 使用PYTHON解析Wireshark的PCAP文件方法
- python 讀取修改pcap包的例子
- 利用Python庫(kù)Scapy解析pcap文件的方法
- 在Python中使用swapCase()方法轉(zhuǎn)換大小寫的教程
- Python機(jī)器學(xué)習(xí)之PCA降維算法詳解
相關(guān)文章
Python實(shí)現(xiàn)合并兩個(gè)有序鏈表的方法示例
這篇文章主要介紹了Python實(shí)現(xiàn)合并兩個(gè)有序鏈表的方法,涉及Python操作鏈表節(jié)點(diǎn)的遍歷、判斷、添加等相關(guān)操作技巧,需要的朋友可以參考下2019-01-01
Python中Matplotlib圖像添加標(biāo)簽的方法實(shí)現(xiàn)
本文主要介紹了Python中Matplotlib圖像添加標(biāo)簽的方法實(shí)現(xiàn),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-04-04
Python 使用folium繪制leaflet地圖的實(shí)現(xiàn)方法
今天小編就為大家分享一篇Python 使用folium繪制leaflet地圖的實(shí)現(xiàn)方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-07-07
一文帶你了解Python中Scikit-learn庫(kù)的使用
Scikit-learn是Python的一個(gè)開源機(jī)器學(xué)習(xí)庫(kù),它支持監(jiān)督和無(wú)監(jiān)督學(xué)習(xí),本文主要來(lái)深入探討一下Scikit-learn的更高級(jí)的特性,感興趣的小伙伴可以了解下2023-07-07
python庫(kù)pydantic的入門簡(jiǎn)易教程
本文主要介紹了python庫(kù)pydantic的入門簡(jiǎn)易教程,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-07-07
用python爬蟲批量下載pdf的實(shí)現(xiàn)
這篇文章主要介紹了用python爬蟲批量下載pdf的實(shí)現(xiàn),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-12-12
selenium+python實(shí)現(xiàn)1688網(wǎng)站驗(yàn)證碼圖片的截取功能
這篇文章主要介紹了selenium+python實(shí)現(xiàn)1688網(wǎng)站驗(yàn)證碼圖片的截取,需要的朋友可以參考下2018-08-08
python實(shí)現(xiàn)照片集變成視頻的代碼實(shí)現(xiàn)
看著電腦里亂七八糟的照片,有大有小,寬高不一,突然想找個(gè)方式把他們統(tǒng)一起來(lái),然后做成視頻更好,所以本文給大家介紹了python實(shí)現(xiàn)照片集變成視頻的實(shí)現(xiàn),需要的朋友可以參考下2024-10-10

