欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

利用Python實(shí)現(xiàn)最小二乘法與梯度下降算法

 更新時(shí)間：2021年02月21日 10:02:37   作者：nbody1996  
這篇文章主要介紹了利用Python實(shí)現(xiàn)最小二乘法與梯度下降算法，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧

導(dǎo)入所需庫(kù)

%matplotlib inline
import sympy
import numpy as np
import matplotlib.pyplot as plt
from sympy.abc import x as a,y as b

生成模擬數(shù)據(jù)

# 模擬函數(shù) y=3x-1

#自變量
x=np.linspace(-5,5,num=1000)
#加入噪聲
noise=np.random.rand(len(x))*2-1
#因變量
y=3*x-1+noise

查看所生成數(shù)據(jù)的圖像

plt.figure(figsize=(10,10))
plt.scatter(x,y,s=1)

待求回歸函數(shù)的點(diǎn)

求代價(jià)函數(shù)的偏導(dǎo)

y=ax+b  #目標(biāo)函數(shù)

e=1/2*Σ([axi+b]-yi)^2   #代價(jià)函數(shù)，求使得代價(jià)函數(shù)為最小值時(shí)，對(duì)應(yīng)的a和b

對(duì)a求偏導(dǎo)->Σ(axi+b-yi)*xi

對(duì)b求偏導(dǎo)->Σ(axi+b-yi)

1. 通過(guò)最小二乘法求a，b

我們知道當(dāng)在a,b處的偏導(dǎo)為0時(shí)，代價(jià)函數(shù)e達(dá)到最小值，所以得到二元一次方程組

Σ(axi+b-yi)*xi=0
Σ(axi+b-yi)=0

該方程組是關(guān)于未知數(shù)為a,b的二元一次方程組，通過(guò)求解該方程，得到a，b

result=sympy.solve([
  np.sum((a*x+b-y)*x),
  np.sum(a*x+b-y)],[a,b])
print(result)	#{x: 3.01182977621975, y: -1.00272253325765}

通過(guò)sympy庫(kù)解方程組，得出了a= 3.01182977621975，b= -1.00272253325765，已經(jīng)與我們真實(shí)的a，b很接近了，下面進(jìn)行作圖

plt.figure(figsize=(10,10))
plt.scatter(x,y,s=1)
plt.plot(x,result[a]*x+result[b],c='red')

print(type(a),type(b))	#<class 'sympy.core.symbol.Symbol'> <class 'sympy.core.symbol.Symbol'>

最小二乘法求解結(jié)果

2. 通過(guò)梯度下降算法求a，b

我們注意到最小二乘法最后一步要求p個(gè)方程組，是非常大的計(jì)算量，其實(shí)計(jì)算起來(lái)很難，因此我們就有了一種新的計(jì)算方法，就是梯度下降法，梯度下降法可以看作是 更簡(jiǎn)單的一種 求最小二乘法最后一步解方程 的方法

# 注意這里覆蓋了sympy.abc的a和b
# 設(shè)定a和b的起始點(diǎn)
a,b=0.1,0.1

#步長(zhǎng)，也稱(chēng)作學(xué)習(xí)率
alpha=0.00001

#循環(huán)一千次結(jié)束
for i in range(1000):
  a-=alpha*np.sum((a*x+b-y)*x)
  b-=alpha*np.sum(a*x+b-y)

print(a,b)	#3.0118297762197526 -1.002674927350334

通過(guò)梯度下降法，得出了a= 3.0118297762197526，b= -1.002674927350334，也是很接近真實(shí)的a，b值了，作圖看看

plt.figure(figsize=(10,10))
plt.scatter(x,y,s=1)
plt.plot(x,a*x+b,c='black')

print(type(a),type(b))	#<class 'numpy.float64'> <class 'numpy.float64'>

梯度下降求解結(jié)果

到此這篇關(guān)于利用Python實(shí)現(xiàn)最小二乘法與梯度下降算法的文章就介紹到這了,更多相關(guān)Python最小二乘法與梯度下降內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

相關(guān)文章

最新評(píng)論