在1943年，沃倫麥卡洛可與沃爾特皮茨提出了第一個腦神經(jīng)元的抽象模型，簡稱麥卡洛可-皮茨神經(jīng)元（McCullock-Pitts neuron）簡稱MCP，大腦神經(jīng)元的結構如下圖。麥卡洛可和皮茨將神經(jīng)細胞描述為一個具備二進制輸出的邏輯門。樹突接收多個輸入信號，當輸入信號累加超過一定的值（閾值），就會產(chǎn)生一個輸出信號。弗蘭克羅森布拉特基于MCP神經(jīng)元提出了第一個感知器學習算法，同時它還提出了一個自學習算法，此算法可以通過對輸入信號和輸出信號的學習，自動的獲取到權重系數(shù)，通過輸入信號與權重系數(shù)的乘積來判斷神經(jīng)元是否被激活（產(chǎn)生輸出信號）。

一、感知器算法

我們將輸入信號定義為一個x向量，x=(x1,x2,x3..)，將權重定義為ω=(ω1,ω2,ω3...)其中ω0的值為，將z定義為為兩個向量之間的乘積，所以輸出z=x1*ω1 + x2*ω2+....，然后將z通過激勵（激活）函數(shù)，作為真正的輸出。其中激活函數(shù)是一個分段函數(shù)，下圖是一個階躍函數(shù)，當輸入信號大于0的時候輸出為1，小于0的時候輸出為0，這里的階躍函數(shù)閾值設置為0了。定義激活函數(shù)為Φ(z)，給激活函數(shù)Φ(z)設定一個閾值θ，當激活函數(shù)的輸出大于閾值θ的時候，將輸出劃分為正類(1)，小于閾值θ的時候將輸出劃分為負類(-1)。如果，將閾值θ移到等式的左邊z=x1*ω1+x2*ω2+....+θ,我們可以將θ看作為θ=x0*ω0，其中輸出x0為1，ω0為-θ。將閾值θ移到等式的左邊之后，就相當于激活函數(shù)的閾值由原來的θ變成了0。

感知器算法的工作過程：

1、將權重ω初始化為零或一個極小的隨機數(shù)。

2、迭代所有的訓練樣本（已知輸入和輸出），執(zhí)行如下操作：

a、通過權重和已知的輸入計算輸出

b、通過a中的輸出與已知輸入的輸出來更新權重

權重的更新過程，如上圖的公式，其中ω與x都是相對應的（當ω為ω0的時候，x為1），η為學習率介于0到1之間的常數(shù)，其中y為輸入所對應的輸出，后面的y（打不出來）為a中所計算出來的輸出。通過迭代對權重的更新，當遇到類標預測錯誤的情況下，權重的值會趨于正類別和負類別的方向。

第一個公式表示的是，當真實的輸出為1的情況下，而預測值為-1，所以我們就需要增加權重來使得預測值往1靠近。

第二個公式表示的是，當真實的輸出為-1的情況下，而預測值為1，所以我們就需要減少權重來使得預測值往-1靠近。

注意：感知器收斂的前提是兩個類別必須是線性可分的，且學習率足夠小。如果兩個類別無法通過一個線性決策邊界進行劃分，我們可以設置一個迭代次數(shù)或者一個判斷錯誤樣本的閾值，否則感知器算法會一直運行下去。

最后，用一張圖來表示感知器算法的工作過程

二、python實現(xiàn)感知器算法

import numpy as np 
 
class Perceptron(object): 
  ''''' 
  輸入?yún)?shù)： 
  eta:學習率，在0~1之間,默認為0.01 
  n_iter:設置迭代的次數(shù),默認為10 
  屬性： 
  w_:一維數(shù)組，模型的權重 
  errors_:列表，被錯誤分類的數(shù)據(jù) 
  ''' 
  #初始化對象 
  def __init__(self,eta=0.01,n_iter=10): 
    self.eta = eta 
    self.n_iter = n_iter 
  #根據(jù)輸入的x和y訓練模型 
  def fit(self,x,y): 
    #初始化權重 
    self.w_ = np.zeros(1 + x.shape[1]) 
    #初始化錯誤列表 
    self.errors_=[] 
    #迭代輸入數(shù)據(jù)，訓練模型 
    for _ in range(self.n_iter): 
      errors = 0 
      for xi,target in zip(x,y): 
        #計算預測與實際值之間的誤差在乘以學習率 
        update = self.eta * (target - self.predict(xi)) 
        #更新權重 
        self.w_[1:] += update * xi 
        #更新W0 
        self.w_[0] += update * 1 
        #當預測值與實際值之間誤差為0的時候,errors=0否則errors=1 
        errors += int(update != 0) 
      #將錯誤數(shù)據(jù)的下標加入到列表中 
      self.errors_.append(errors) 
    return self 
  #定義感知器的傳播過程 
  def net_input(self,x): 
    #等價于sum(i*j for i,j in zip(x,self.w_[1:])),這種方式效率要低于下面 
    return np.dot(x,self.w_[1:]) + self.w_[0] 
  #定義預測函數(shù) 
  def predict(self,x): 
    #類似于三元運算符，當self.net_input(x) >= 0.0 成立時返回1，否則返回-1 
    return np.where(self.net_input(x) >= 0.0 , 1 , -1) 

以上就是本文的全部內(nèi)容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。

最新評論