kNN算法python實現(xiàn)和簡單數(shù)字識別的方法

更新時間：2014年11月18日 15:05:58 投稿：shichen2014

這篇文章主要介紹了kNN算法python實現(xiàn)和簡單數(shù)字識別的方法,詳細(xì)講述了kNN算法的優(yōu)缺點及原理,并給出了應(yīng)用實例,需要的朋友可以參考下

本文實例講述了kNN算法python實現(xiàn)和簡單數(shù)字識別的方法。分享給大家供大家參考。具體如下：

kNN算法算法優(yōu)缺點：

優(yōu)點：精度高、對異常值不敏感、無輸入數(shù)據(jù)假定
缺點：時間復(fù)雜度和空間復(fù)雜度都很高
適用數(shù)據(jù)范圍:數(shù)值型和標(biāo)稱型

算法的思路：

KNN算法（全稱K最近鄰算法），算法的思想很簡單，簡單的說就是物以類聚，也就是說我們從一堆已知的訓(xùn)練集中找出k個與目標(biāo)最靠近的，然后看他們中最多的分類是哪個，就以這個為依據(jù)分類。

函數(shù)解析：

庫函數(shù)：

tile()
如tile(A,n)就是將A重復(fù)n次

復(fù)制代碼代碼如下:

a = np.array([0, 1, 2])

np.tile(a, 2)

array([0, 1, 2, 0, 1, 2])

np.tile(a, (2, 2))

array([[0, 1, 2, 0, 1, 2],[0, 1, 2, 0, 1, 2]])

np.tile(a, (2, 1, 2))

array([[[0, 1, 2, 0, 1, 2]],[[0, 1, 2, 0, 1, 2]]])

b = np.array([[1, 2], [3, 4]])

np.tile(b, 2)

array([[1, 2, 1, 2],[3, 4, 3, 4]])

np.tile(b, (2, 1))

array([[1, 2],[3, 4],[1, 2],[3, 4]])`

自己實現(xiàn)的函數(shù)

createDataSet()生成測試數(shù)組
kNNclassify(inputX, dataSet, labels, k)分類函數(shù)

inputX 輸入的參數(shù)
dataSet 訓(xùn)練集
labels 訓(xùn)練集的標(biāo)號
k 最近鄰的數(shù)目

復(fù)制代碼代碼如下:

#coding=utf-8
from numpy import *
import operator

def createDataSet():
    group = array([[1.0, 0.9], [1.0, 1.0], [0.1, 0.2], [0.0, 0.1]])
    labels = ['A','A','B','B']
    return group,labels
#inputX表示輸入向量（也就是我們要判斷它屬于哪一類的）
#dataSet表示訓(xùn)練樣本
#label表示訓(xùn)練樣本的標(biāo)簽
#k是最近鄰的參數(shù)，選最近k個
def kNNclassify(inputX, dataSet, labels, k):
    dataSetSize = dataSet.shape[0]#計算有幾個訓(xùn)練數(shù)據(jù)
    #開始計算歐幾里得距離
    diffMat = tile(inputX, (dataSetSize,1)) - dataSet

    sqDiffMat = diffMat ** 2
    sqDistances = sqDiffMat.sum(axis=1)#矩陣每一行向量相加
    distances = sqDistances ** 0.5
    #歐幾里得距離計算完畢
    sortedDistance = distances.argsort()
    classCount = {}
    for i in xrange(k):
        voteLabel = labels[sortedDistance[i]]
        classCount[voteLabel] = classCount.get(voteLabel,0) + 1
    res = max(classCount)
    return res

def main():
    group,labels = createDataSet()
    t = kNNclassify([0,0],group,labels,3)
    print t

if __name__=='__main__':
    main()

kNN應(yīng)用實例

手寫識別系統(tǒng)的實現(xiàn)

數(shù)據(jù)集：

兩個數(shù)據(jù)集：training和test。分類的標(biāo)號在文件名中。像素32*32的。數(shù)據(jù)大概這個樣子：

方法：

kNN的使用，不過這個距離算起來比較復(fù)雜（1024個特征），主要是要處理如何讀取數(shù)據(jù)這個問題的，比較方面直接調(diào)用就可以了。

速度：

速度還是比較慢的，這里數(shù)據(jù)集是：training 2000+，test 900+（i5的CPU）

k=3的時候要32s+

復(fù)制代碼代碼如下:

#coding=utf-8
from numpy import *
import operator
import os
import time

def createDataSet():
    group = array([[1.0, 0.9], [1.0, 1.0], [0.1, 0.2], [0.0, 0.1]])
    labels = ['A','A','B','B']
    return group,labels
#inputX表示輸入向量（也就是我們要判斷它屬于哪一類的）
#dataSet表示訓(xùn)練樣本
#label表示訓(xùn)練樣本的標(biāo)簽
#k是最近鄰的參數(shù)，選最近k個
def kNNclassify(inputX, dataSet, labels, k):
    dataSetSize = dataSet.shape[0]#計算有幾個訓(xùn)練數(shù)據(jù)
    #開始計算歐幾里得距離
    diffMat = tile(inputX, (dataSetSize,1)) - dataSet
    #diffMat = inputX.repeat(dataSetSize, aixs=1) - dataSet
    sqDiffMat = diffMat ** 2
    sqDistances = sqDiffMat.sum(axis=1)#矩陣每一行向量相加
    distances = sqDistances ** 0.5
    #歐幾里得距離計算完畢
    sortedDistance = distances.argsort()
    classCount = {}
    for i in xrange(k):
        voteLabel = labels[sortedDistance[i]]
        classCount[voteLabel] = classCount.get(voteLabel,0) + 1
    res = max(classCount)
    return res

def img2vec(filename):
    returnVec = zeros((1,1024))
    fr = open(filename)
    for i in range(32):
        lineStr = fr.readline()
        for j in range(32):
            returnVec[0,32*i+j] = int(lineStr[j])
    return returnVec

def handwritingClassTest(trainingFloder,testFloder,K):
    hwLabels = []
    trainingFileList = os.listdir(trainingFloder)
    m = len(trainingFileList)
    trainingMat = zeros((m,1024))
    for i in range(m):
        fileName = trainingFileList[i]
        fileStr = fileName.split('.')[0]
        classNumStr = int(fileStr.split('_')[0])
        hwLabels.append(classNumStr)
        trainingMat[i,:] = img2vec(trainingFloder+'/'+fileName)
    testFileList = os.listdir(testFloder)
    errorCount = 0.0
    mTest = len(testFileList)
    for i in range(mTest):
        fileName = testFileList[i]
        fileStr = fileName.split('.')[0]
        classNumStr = int(fileStr.split('_')[0])
        vectorUnderTest = img2vec(testFloder+'/'+fileName)
        classifierResult = kNNclassify(vectorUnderTest, trainingMat, hwLabels, K)
        #print classifierResult,' ',classNumStr
        if classifierResult != classNumStr:
            errorCount +=1
    print 'tatal error ',errorCount
    print 'error rate',errorCount/mTest

def main():
    t1 = time.clock()
    handwritingClassTest('trainingDigits','testDigits',3)
    t2 = time.clock()
    print 'execute ',t2-t1
if __name__=='__main__':
    main()