Python機器學習k-近鄰算法(K Nearest Neighbor)實例詳解

更新時間：2018年06月25日 10:48:35 作者：Eric Chan

這篇文章主要介紹了Python機器學習k-近鄰算法(K Nearest Neighbor),結合實例形式分析了k-近鄰算法的原理、操作步驟、相關實現與使用技巧,需要的朋友可以參考下

本文實例講述了Python機器學習k-近鄰算法。分享給大家供大家參考，具體如下：

工作原理

存在一份訓練樣本集，并且每個樣本都有屬于自己的標簽，即我們知道每個樣本集中所屬于的類別。輸入沒有標簽的新數據后，將新數據的每個特征與樣本集中數據對應的特征進行比較，然后提取樣本集中與之最相近的k個樣本。觀察并統(tǒng)計這k個樣本的標簽，選擇數量最大的標簽作為這個新數據的標簽。

用以下這幅圖可以很好的解釋kNN算法：

不同形狀的點，為不同標簽的點。其中綠色點為未知標簽的數據點。現在要對綠色點進行預測。由圖不難得出：

如果k=3，那么離綠色點最近的有2個紅色三角形和1個藍色的正方形，這3個點投票，于是綠色的這個待分類點屬于紅色的三角形。
如果k=5，那么離綠色點最近的有2個紅色三角形和3個藍色的正方形，這5個點投票，于是綠色的這個待分類點屬于藍色的正方形。

kNN算法實施

偽代碼

對未知屬性的數據集中的每個點執(zhí)行以下操作

1. 計算已知類型類別數據集中的點與當前點之間的距離
2. 按照距離遞增次序排序
3. 選取與當前點距離最小的k個點
4. 確定前k個點所在類別的出現頻率
5. 返回前k個點出現頻率最高的類別作為當前點的預測分類

歐式距離(計算兩點之間的距離公式)

計算點x與點y之間歐式距離

python代碼實現

# -*- coding:utf-8 -*-
#! python2
import numpy as np
import operator
# 訓練集
data_set = np.array([[1., 1.1],
           [1.0, 1.0],
           [0., 0.],
           [0, 0.1]])
labels = ['A', 'A', 'B', 'B']
def classify_knn(in_vector, training_data, training_label, k):
  """
  :param in_vector: 待分類向量
  :param training_data: 訓練集向量
  :param training_label: 訓練集標簽
  :param k: 選擇最近鄰居的數目
  :return: 分類器對 in_vector 分類的類別
  """
  data_size = training_data.shape[0] # .shape[0] 返回二維數組的行數
  diff_mat = np.tile(in_vector, (data_size, 1)) - data_set # np.tile(array, (3, 2)) 對 array 進行 3×2 擴展為二維數組
  sq_diff_mat = diff_mat ** 2
  sq_distances = sq_diff_mat.sum(axis=1) # .sum(axis=1) 矩陣以列求和
  # distances = sq_distances ** 0.5 # 主要是通過比較求最近點,所以沒有必要求平方根
  distances_sorted_index = sq_distances.argsort() # .argsort() 對array進行排序 返回排序后對應的索引
  class_count_dict = {} # 用于統(tǒng)計類別的個數
  for i in range(k):
    label = training_label[distances_sorted_index[i]]
    try:
      class_count_dict[label] += 1
    except KeyError:
      class_count_dict[label] = 1
  class_count_dict = sorted(class_count_dict.iteritems(), key=operator.itemgetter(1), reverse=True) # 根據字典的value值對字典進行逆序排序
  return class_count_dict[0][0]
if __name__ == '__main__':
  vector = [0, 0] # 待分類數據集
  print classify_knn(in_vector=vector, training_data=data_set, training_label=labels, k=3)

運行結果：B