python實現(xiàn)聚類算法原理

更新時間：2018年02月12日 09:44:27 作者：FishBear_move_on

這篇文章主要為大家詳細(xì)介紹了python實現(xiàn)聚類算法原理，具有一定的參考價值，感興趣的小伙伴們可以參考一下

本文主要內(nèi)容：

聚類算法的特點
聚類算法樣本間的屬性(包括，有序?qū)傩?、無序?qū)傩?度量標(biāo)準(zhǔn)
聚類的常見算法，原型聚類(主要論述K均值聚類)，層次聚類、密度聚類
K均值聚類算法的python實現(xiàn)，以及聚類算法與EM最大算法的關(guān)系
參考引用

先上一張gif的k均值聚類算法動態(tài)圖片，讓大家對算法有個感性認(rèn)識：

其中：N=200代表有200個樣本，不同的顏色代表不同的簇(其中 3種顏色為3個簇)，星星代表每個簇的簇心。算法通過25次迭代找到收斂的簇心，以及對應(yīng)的簇。每次迭代的過程中，簇心和對應(yīng)的簇都在變化。

聚類算法的特點

聚類算法是無監(jiān)督學(xué)習(xí)算法和前面的有監(jiān)督算法不同，訓(xùn)練數(shù)據(jù)集可以不指定類別(也可以指定)。聚類算法對象歸到同一簇中，類似全自動分類。簇內(nèi)的對象越相似，聚類的效果越好。K-均值聚類是每個類別簇都是采用簇中所含值的均值計算而成。

聚類樣本間的屬性(包括，有序?qū)傩?、無序?qū)傩?度量標(biāo)準(zhǔn) 1. 有序?qū)傩?/p>

例如：西瓜的甜度：0.1， 0.5， 0.9(值越大，代表越甜)

我們可以使用明可夫斯基距離定義:

2. 無序?qū)傩?/p>

例如：色澤，青綠、淺綠、深綠（又例如: 性別: 男, 女，中性，人yao…明顯也不能使用0.1， 0.2 等表示求距離）。這些不能使用連續(xù)的值表示，求距離的，一般使用VDM計算：

聚類的常見算法，原型聚類(主要論述K均值聚類)，層次聚類、密度聚類

聚類算法分為如下三大類：

1. 原型聚類(包含3個子類算法)：

K均值聚類算法

學(xué)習(xí)向量量化

高斯混合聚類

2. 密度聚類：

3. 層次聚類：

下面主要說明K均值聚類算法(示例來源于，周志華西瓜書)

算法基本思想：

K-Means 是發(fā)現(xiàn)給定數(shù)據(jù)集的 K 個簇的聚類算法, 之所以稱之為 K-均值是因為它可以發(fā)現(xiàn) K 個不同的簇,且每個簇的中心采用簇中所含值的均值計算而成.簇個數(shù) K 是用戶指定的, 每一個簇通過其質(zhì)心（centroid）, 即簇中所有點的中心來描述.

算法流程如下：

主要是三個步驟：

初始化選擇K個簇心，假設(shè)樣本有 m個屬性，則相當(dāng)于k個m為向量
對于k個簇，求離其最近的樣本，并劃分新的簇
對于每個新的簇，更新簇心的向量(一般可以求簇的樣本的屬性的均值)
重復(fù)2~3直到算法收斂，或者運行了指定的次數(shù)

下面給出西瓜書的示例：

西瓜包含下面兩個屬性，密度以及含糖率，這兩個屬性構(gòu)成的二維向量，作為輸入向量(具體數(shù)據(jù)如下表)

算法大致過程如下：

下圖是分類的，每一輪簇心的更新結(jié)果，圖中橫坐標(biāo)為密度屬性，縱坐標(biāo)為含糖率屬性：

4. K均值聚類算法的python實現(xiàn)

下面給出K-means cluster算法的實現(xiàn)的大致框架:

class KMeans(object):
  def __init__(self, k, init_vec, max_iter=100):
    """
    :param k:
    :param init_vec: init mean vectors type: k * n array(n properties)
    """
    self._k = k
    self._cluster_vec = init_vec
    self._max_iter = max_iter

  def fit(self, x):
    # 迭代最大次數(shù)
    for i in xrange(self._max_iter):
      print 'iteration %s' % i
      # 求每個簇心的簇類
      d_cluster = self._cluster_point(x)
      # 對現(xiàn)有的簇類，更新簇心
      new_center_node = self._reevaluate_center_node(d_cluster)

      # 檢測簇心是否變化，判斷算法收斂
      if self._check_converge(new_center_node):
        print 'found converge node'
        break
      else:
        self._cluster_vec = new_center_node

  def _cal_distance(self, vec1, vec2):
    return np.linalg.norm(vec1 - vec2)

  def _cluster_point(self, x):
    # 求每個簇心的簇
    pass
    return d_cluster

  def _reevaluate_center_node(self, d_cluster):
    # 對新的簇，求最佳簇心
    return arr_center_node

  def _check_converge(self, vec):
    # 判斷簇心是否改變，算法收斂
    return np.array_equal(self._cluster_vec, vec)

具體的算法，以及見本人的github

下面給出程序的運行結(jié)果, 由圖可見經(jīng)過三次迭代程序收斂，并且找到最佳節(jié)點: