python梯度下降法的簡單示例
梯度下降法的原理和公式這里不講,就是一個直觀的、易于理解的簡單例子。
1.最簡單的情況,樣本只有一個變量,即簡單的(x,y)。多變量的則可為使用體重或身高判斷男女(這是假設,并不嚴謹),則變量有兩個,一個是體重,一個是身高,則可表示為(x1,x2,y),即一個目標值有兩個屬性。
2.單個變量的情況最簡單的就是,函數(shù)hk(x)=k*x這條直線(注意:這里k也是變化的,我們的目的就是求一個最優(yōu)的 k)。而深度學習中,我們是不知道函數(shù)的,也就是不知道上述的k。 這里討論單變量的情況:
在不知道k的情況下,我們是通過樣本(x1,y1),(x2,y2),(xn,yn)來獲取k。獲取的k的好壞則有損失函數(shù)來衡量。
損失函數(shù):就是你預測的值和真實值的差異大?。ū热缫粋€樣本(1,1)他的真實值是1,而你預測的是0.5,則差異 比較大,如果你預測值為0.9999,則差異就比較小了)。
損失函數(shù)為定義如下(此處為單變量的情況)
目的是求使損失函數(shù)最小的變量k(注意和變量x區(qū)分),則將損失函數(shù)對k求導(多變量時為求偏導得梯度,這里單變量求導,其實不算梯度),求偏導如下:
然后迭代,迭代時有個步長alpha,(深度學習中貌似叫學習率)
3.例子
假如我們得到樣本(1,1),(2,2),(3,3).其實,由這三個樣本可以得到函數(shù)為y = 1*x。此時損失函數(shù)為0.而機器是不知道的,所以我們需要訓練。
下面是一段python代碼。
import numpy as np import matplotlib.pyplot as plt x=np.arange(-5, 5, 0.001) y=(((x-1)*(x-1)+(x*2-2)*(x*2-2)+(x*3-3)*(x*3-3))*1/6.0) plt.plot(x,y) #plt.show() #顯示圖形 def sum(x): return ((x*1-1)*1+(x*2-2)*2+(x*3-3)*3) def fun(x): return ((1/3.0)*sum(x)) old = 0 new = 5 step = 0.01 pre = 0.00000001 def src_fun(x): print(((x-1)*(x-1)+(x*2-2)*(x*2-2)+(x*3-3)*(x*3-3))*1/6.0) while abs(new-old)>pre: old = new #src_fun(old) #輸出每次迭代的損失值 new = new - step*fun(old) print(new) print(src_fun(new))
下圖是損失函數(shù)的圖像,損失函數(shù)中變量是k。下圖橫坐標為k的不同取值,縱軸為對應的損失大小。由下圖可以大致看出,當k為1時,損失函數(shù)值為0。注意:這里取的最優(yōu)值k=1是在我們已有樣本的情況下得出的,樣本不同,k值自然不同。
下面是print(new)和print(src_fun(new))的輸出結果
以上就是本文的全部內(nèi)容,希望對大家的學習有所幫助,也希望大家多多支持腳本之家。
相關文章
python?requests.post請求404問題及解決方法
這篇文章主要介紹了python?requests.post請求404問題,這里需要根據(jù)自己實際情況來分析當前接口接收數(shù)據(jù)時使用的是什么格式,但目前一般的網(wǎng)站都開始采用application/jsond的數(shù)據(jù)格式,本文通過圖文并茂的形式給大家介紹的非常詳細,需要的朋友可以參考下2022-09-09python+selenium實現(xiàn)自動化百度搜索關鍵詞
在本篇文章里我們給大家分享了一篇關于python+selenium實現(xiàn)自動化百度搜索關鍵詞的實例文章,需要的朋友們可以跟著操作下。2019-06-06Python使用textract實現(xiàn)從各種文件中提取文本信息
textract是一個強大的Python庫,可以用于從各種文件格式中提取文本,本文將介紹textract的使用場景,以及一些常用的Python代碼案例,希望對大家有所幫助2024-01-01