Python中實(shí)現(xiàn)最小二乘法思路及實(shí)現(xiàn)代碼
之所以說”使用”而不是”實(shí)現(xiàn)”,是因?yàn)閜ython的相關(guān)類庫已經(jīng)幫我們實(shí)現(xiàn)了具體算法,而我們只要學(xué)會(huì)使用就可以了。隨著對(duì)技術(shù)的逐漸掌握及積累,當(dāng)類庫中的算法已經(jīng)無法滿足自身需求的時(shí)候,我們也可以嘗試通過自己的方式實(shí)現(xiàn)各種算法。
言歸正傳,什么是”最小二乘法”呢?
定義:最小二乘法(又稱最小平方法)是一種數(shù)學(xué)優(yōu)化技術(shù),它通過最小化誤差的平方和尋找數(shù)據(jù)的最佳函數(shù)匹配。
作用:利用最小二乘法可以簡(jiǎn)便地求得未知的數(shù)據(jù),并使得這些求得的數(shù)據(jù)與實(shí)際數(shù)據(jù)之間誤差的平方和為最小。
原則:以”殘差平方和最小”確定直線位置(在數(shù)理統(tǒng)計(jì)中,殘差是指實(shí)際觀察值與估計(jì)值之間的差)
數(shù)學(xué)公式:
基本思路:對(duì)于一元線性回歸模型,假設(shè)從總體中獲取了n組觀察值(X1,Y1),(X2,Y2),…,(Xn,Yn),對(duì)于平面中的這n個(gè)點(diǎn),可以使用無數(shù)條曲線來擬合。而線性回歸就是要求樣本回歸函數(shù)盡可能好地?cái)M合這組值,也就是說,這條直線應(yīng)該盡可能的處于樣本數(shù)據(jù)的中心位置。因此,選擇最佳擬合曲線的標(biāo)準(zhǔn)可以確定為:使總的擬合誤差(即總殘差)達(dá)到最小。
實(shí)現(xiàn)代碼如下,代碼中已經(jīng)詳細(xì)的給了注釋:
##最小二乘法 import numpy as np ##科學(xué)計(jì)算庫 import scipy as sp ##在numpy基礎(chǔ)上實(shí)現(xiàn)的部分算法庫 import matplotlib.pyplot as plt ##繪圖庫 from scipy.optimize import leastsq ##引入最小二乘法算法 ''' 設(shè)置樣本數(shù)據(jù),真實(shí)數(shù)據(jù)需要在這里處理 ''' ##樣本數(shù)據(jù)(Xi,Yi),需要轉(zhuǎn)換成數(shù)組(列表)形式 Xi=np.array([6.19,2.51,7.29,7.01,5.7,2.66,3.98,2.5,9.1,4.2]) Yi=np.array([5.25,2.83,6.41,6.71,5.1,4.23,5.05,1.98,10.5,6.3]) ''' 設(shè)定擬合函數(shù)和偏差函數(shù) 函數(shù)的形狀確定過程: 1.先畫樣本圖像 2.根據(jù)樣本圖像大致形狀確定函數(shù)形式(直線、拋物線、正弦余弦等) ''' ##需要擬合的函數(shù)func :指定函數(shù)的形狀 def func(p,x): k,b=p return k*x+b ##偏差函數(shù):x,y都是列表:這里的x,y更上面的Xi,Yi中是一一對(duì)應(yīng)的 def error(p,x,y): return func(p,x)-y ''' 主要部分:附帶部分說明 1.leastsq函數(shù)的返回值tuple,第一個(gè)元素是求解結(jié)果,第二個(gè)是求解的代價(jià)值(個(gè)人理解) 2.官網(wǎng)的原話(第二個(gè)值):Value of the cost function at the solution 3.實(shí)例:Para=>(array([ 0.61349535, 1.79409255]), 3) 4.返回值元組中第一個(gè)值的數(shù)量跟需要求解的參數(shù)的數(shù)量一致 ''' #k,b的初始值,可以任意設(shè)定,經(jīng)過幾次試驗(yàn),發(fā)現(xiàn)p0的值會(huì)影響cost的值:Para[1] p0=[1,20] #把error函數(shù)中除了p0以外的參數(shù)打包到args中(使用要求) Para=leastsq(error,p0,args=(Xi,Yi)) #讀取結(jié)果 k,b=Para[0] print("k=",k,"b=",b) print("cost:"+str(Para[1])) print("求解的擬合直線為:") print("y="+str(round(k,2))+"x+"+str(round(b,2))) ''' 繪圖,看擬合效果. matplotlib默認(rèn)不支持中文,label設(shè)置中文的話需要另行設(shè)置 如果報(bào)錯(cuò),改成英文就可以 ''' #畫樣本點(diǎn) plt.figure(figsize=(8,6)) ##指定圖像比例: 8:6 plt.scatter(Xi,Yi,color="green",label="樣本數(shù)據(jù)",linewidth=2) #畫擬合直線 x=np.linspace(0,12,100) ##在0-15直接畫100個(gè)連續(xù)點(diǎn) y=k*x+b ##函數(shù)式 plt.plot(x,y,color="red",label="擬合直線",linewidth=2) plt.legend(loc='lower right') #繪制圖例 plt.show()
結(jié)果如下所示:
輸出結(jié)果:
k= 0.900458420439 b= 0.831055638877
cost:1
求解的擬合直線為:
y=0.9x+0.83
繪圖結(jié)果:
補(bǔ)充說明:簡(jiǎn)單的列舉了直線的情況,曲線的求解方式類似,但是曲線會(huì)存在過度擬合的情況,在以后的博客中會(huì)講到。
總結(jié)
以上就是本文關(guān)于Python中實(shí)現(xiàn)最小二乘法思路及實(shí)現(xiàn)代碼的全部?jī)?nèi)容,希望對(duì)大家有所幫助。感興趣的朋友可以繼續(xù)參閱本站其他相關(guān)專題,如有不足之處,歡迎留言指出。感謝朋友們對(duì)本站的支持!
相關(guān)文章
python向量化與for循環(huán)耗時(shí)對(duì)比分析
這篇文章主要介紹了python向量化與for循環(huán)耗時(shí)對(duì)比分析,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2022-05-05Python?常用內(nèi)置模塊超詳細(xì)梳理總結(jié)
模塊是一個(gè)包含索引你定義的函數(shù)和變量的文件,其擴(kuò)展名為.py。模塊可以被其他程序引入,以使用該模塊中的函數(shù)等功能。這也是使用python標(biāo)準(zhǔn)庫的方法2022-03-03Python?Pygame實(shí)戰(zhàn)之紅心大戰(zhàn)游戲的實(shí)現(xiàn)
說起Windows自帶的游戲,相信許多80、90后的朋友都不陌生。本文就將利用Python中的Pygame模塊實(shí)現(xiàn)一下windows經(jīng)典游戲之一的紅心大戰(zhàn),需要的可以參考一下2022-02-02Pytorch?Conda環(huán)境pack打包遷移報(bào)錯(cuò)的處理方案
這篇文章主要介紹了Pytorch?Conda環(huán)境pack打包遷移報(bào)錯(cuò)的處理方案,文中通過代碼示例和圖文結(jié)合的方式給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作有一定的幫助,需要的朋友可以參考下2024-07-07Python基于機(jī)器學(xué)習(xí)方法實(shí)現(xiàn)的電影推薦系統(tǒng)實(shí)例詳解
這篇文章主要介紹了Python基于機(jī)器學(xué)習(xí)方法實(shí)現(xiàn)的電影推薦系統(tǒng),本文給大家介紹的非常詳細(xì),具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2019-06-06Python文件操作中進(jìn)行字符串替換的方法(保存到新文件/當(dāng)前文件)
這篇文章主要介紹了Python文件操作中進(jìn)行字符串替換的方法(保存到新文件/當(dāng)前文件) ,本文給大家介紹兩種方法,每種方法給大家介紹的非常詳細(xì),具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2019-06-06python爬蟲將js轉(zhuǎn)化成json實(shí)現(xiàn)示例
這篇文章主要為大家介紹了python爬蟲將js轉(zhuǎn)化成json實(shí)現(xiàn)示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-05-05