快捷導(dǎo)航

Python實(shí)現(xiàn)KNN鄰近算法

更新時(shí)間：2021年01月28日 16:41:24 作者：Think-througher

這篇文章主要為大家詳細(xì)介紹了Python實(shí)現(xiàn)KNN鄰近算法，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下

簡(jiǎn)介

鄰近算法，或者說(shuō)K最近鄰(kNN，k-NearestNeighbor)分類算法是數(shù)據(jù)挖掘分類技術(shù)中最簡(jiǎn)單的方法之一。所謂K最近鄰，就是k個(gè)最近的鄰居的意思，說(shuō)的是每個(gè)樣本都可以用它最接近的k個(gè)鄰居來(lái)代表。

kNN算法的核心思想是如果一個(gè)樣本在特征空間中的k個(gè)最相鄰的樣本中的大多數(shù)屬于某一個(gè)類別，則該樣本也屬于這個(gè)類別，并具有這個(gè)類別上樣本的特性。該方法在確定分類決策上只依據(jù)最鄰近的一個(gè)或者幾個(gè)樣本的類別來(lái)決定待分樣本所屬的類別。 kNN方法在類別決策時(shí)，只與極少量的相鄰樣本有關(guān)。由于kNN方法主要靠周?chē)邢薜泥徑臉颖荆皇强颗袆e類域的方法來(lái)確定所屬類別的，因此對(duì)于類域的交叉或重疊較多的待分樣本集來(lái)說(shuō)，kNN方法較其他方法更為適合。

本文將采用Python和numpy庫(kù)實(shí)現(xiàn)KNN的核心算法，并使用一個(gè)簡(jiǎn)單的例子進(jìn)行驗(yàn)證。

KNN核心算法的實(shí)現(xiàn)

對(duì)于KNN算法實(shí)現(xiàn)，首先我們計(jì)算歐式空間距離，然后根據(jù)距離排序，找到k個(gè)緊鄰，找出最相近的分類。

from numpy import tile 
import operator 
 
def do_knn_classifier(in_array, data_set, labels, k): 
 ''''' 
 classify the in_array according the data set and labels 
 ''' 
 
 #計(jì)算距離適量 
 data_set_size = data_set.shape[0] 
 diff_matrix = tile(in_array, (data_set_size, 1)) - data_set 
 sq_diff_matrix = diff_matrix ** 2 
 sq_distance = sq_diff_matrix.sum(axis=1) 
 distances = sq_distance ** 0.5 
 
 #argsort函數(shù)返回的是數(shù)組值從小到大的索引值， 距離排序 
 sorted_dist_indicies = distances.argsort() 
 
 # 選擇K個(gè)緊鄰 
 class_count = {} 
 for i in range(k): 
 vote_label = labels[sorted_dist_indicies[i]] 
 class_count[vote_label] = class_count.get(vote_label, 0) + 1 
 
 #排序，并返回最相鄰的分類 
 sorted_class_count = sorted(class_count.iteritems(), key=operator.itemgetter(1), reverse=True) 
 
 return sorted_class_count[0][0]

數(shù)值的歸一化

多數(shù)情況下，由于選擇的特征值取值范圍比較大。在處理這種不同取值范圍的特征值時(shí)，通常需要采用的方法就是將數(shù)值歸一化，如將取值范圍處理到0到1或-1到1之間。下面的公式可以將任意取值范圍的特征值轉(zhuǎn)化為0到1的區(qū)間內(nèi)的值：
newValue = (oldValue - min) / (max - min)
其中min和max分別是數(shù)據(jù)集中的最小特征值和最大特征值。

from numpy import tile 
import operator 
 
def auto_normalize_data(data_set): 
 ''''' 
 對(duì)數(shù)據(jù)集進(jìn)行歸一化操作 
 ''' 
 # 參數(shù)0使函數(shù)可以從列中選取最小值，而不是當(dāng)前行的最小值 
 min_vals = data_set.min(0) 
 max_vals = data_set.max(0) 
 ranges = max_vals - min_vals 
 
 
 # 歸一化處理 
 m = data_set.shape[0] 
 norm_data_set = data_set - tile(min_vals, (m, 1)) 
 norm_data_set = norm_data_set / tile(ranges, (m, 1)) 
 
 return norm_data_set, ranges, min_vals

實(shí)例

以一個(gè)簡(jiǎn)單的例子來(lái)結(jié)束本文的介紹。在這里并不需要實(shí)現(xiàn)數(shù)據(jù)的歸一化處理。

from numpy import array 
from knn.knn_classifier import do_knn_classifier 
 
def get_data_set(): 
 ''''' 
 Get data set and labels 
 ''' 
 group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]]) 
 labels = ['A', 'A', 'B', 'B'] 
 
 return group, labels 
 
if __name__ == '__main__': 
 data_set, labels = get_data_set() 
 
 t = do_knn_classifier(array([0.2, 0.1]), data_set, labels, 3) 
 print t

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章: