python實(shí)現(xiàn)最小二乘法的方法詳解

更新時(shí)間：2024年04月30日 11:17:10 作者：菜鳥(niǎo)08哥

這篇文章主要介紹了如何基于python實(shí)現(xiàn)最小二乘法的方法,文中有非常詳細(xì)的代碼示例,對(duì)正在學(xué)習(xí)python的小伙伴們有非常好的幫助,需要的朋友可以參考下

1.最小二乘法

1.1 線性回歸

主要是解決線性問(wèn)題，無(wú)法解決非線性問(wèn)題。線性回歸過(guò)程主要解決的是如何通過(guò)樣本獲取最佳的擬合線，最常用的方法是 最小二乘法。

1.2 最小二乘法

ps：在古代，“平方”的稱謂為“二乘”，故得最小二乘法。

2.2.1 數(shù)據(jù)擬合法和插值法

數(shù)據(jù)擬合法不必過(guò)所有的數(shù)據(jù)點(diǎn)，關(guān)注數(shù)據(jù)的變化趨勢(shì)。
插值法必須經(jīng)過(guò)所有的數(shù)據(jù)點(diǎn)。

1.2.1 原理

一種數(shù)學(xué)優(yōu)化技術(shù)，通過(guò)最小化殘差的平方和尋找數(shù)據(jù)的最佳函數(shù)匹配。在數(shù)理統(tǒng)計(jì)中，殘差是指實(shí)際觀察值與估計(jì)值之間的差。力求總的擬合誤差（即總殘差）達(dá)到最小。

1.2.2 最小二乘法的求解過(guò)程

在這里插入圖片描述

1.2.3 python實(shí)現(xiàn)最小二乘法（預(yù)測(cè)學(xué)生身高體重為例）

擬合曲線

# 擬合曲線
import numpy as np
import matplotlib.pyplot as plt
import scipy as sp
from scipy.optimize import leastsq

# 樣本數(shù)據(jù)
# 身高數(shù)據(jù)
Xi = np.array([162, 165, 159, 173, 157, 175, 161, 164, 172, 158])
# 體重?cái)?shù)據(jù)
Yi = np.array([48, 64, 53, 66, 52, 68, 50, 52, 64, 49])


# 需要擬合的函數(shù)func（）指定函數(shù)的形狀
def func(p, x):
    k, b = p
    return k*x + b


# 定義偏差函數(shù)，x，y為數(shù)組中對(duì)應(yīng)Xi,Yi的值
def error(p, x, y):
    return func(p, x) - y


# 設(shè)置k，b的初始值，可以任意設(shè)定，經(jīng)過(guò)實(shí)驗(yàn)，發(fā)現(xiàn)p0的值會(huì)影響cost的值：Para[1]
p0 = [1, 20]

# 把error函數(shù)中除了p0以外的參數(shù)打包到args中,leastsq()為最小二乘法函數(shù)
Para = leastsq(error, p0, args=(Xi, Yi))
# 讀取結(jié)果
k, b = Para[0]
print('k=', k, 'b=', b)

# 畫(huà)樣本點(diǎn)
plt.figure(figsize=(8, 6))
plt.scatter(Xi, Yi, color='red', label='Sample data', linewidth=2)

# 畫(huà)擬合直線
x = np.linspace(150, 180, 80)
y = k * x + b

# 繪制擬合曲線
plt.plot(x, y, color='blue', label='Fitting Curve', linewidth=2)
plt.legend()  # 繪制圖例

plt.xlabel('Height:cm', fontproperties='simHei', fontsize=12)
plt.ylabel('Weight:Kg', fontproperties='simHei', fontsize=12)

plt.show()

在這里插入圖片描述

計(jì)算殘差

# 計(jì)算殘差
import numpy as np
import matplotlib.pyplot as plt
import scipy as sp
from scipy.optimize import leastsq
from statsmodels.graphics.api import qqplot

# 樣本數(shù)據(jù)
# 身高數(shù)據(jù)
Xi = np.array([162, 165, 159, 173, 157, 175, 161, 164, 172, 158])
# 體重?cái)?shù)據(jù)
Yi = np.array([48, 64, 53, 66, 52, 68, 50, 52, 64, 49])

# 定義變量
xy_res=[]
# 定義計(jì)算殘差函數(shù)
def residual(x,y):
    res = y - (0.4211697*x-8.2883026)               # 計(jì)算殘差
    return res                                      # 返回殘差

# 循環(huán)讀取殘差
for d in range(0,len(Xi)):
    res = residual(Xi[d], Yi[d])
    xy_res.append(res)

print(xy_res)
# 計(jì)算殘差平方和，和越小表明擬合的情況越好
xy_res_pingfangsum = np.dot(xy_res,xy_res)
print(xy_res_pingfangsum)

# 如果數(shù)據(jù)擬合模型效果好，殘差應(yīng)該遵從正態(tài)分布（0，d*d），d表示殘差

# 畫(huà)樣本點(diǎn)
fig = plt.figure(figsize=(8, 6))
ax = fig.add_subplot(111)           # 添加一個(gè)子圖
fig = qqplot(np.array(xy_res),line='q',ax=ax)  # 設(shè)置參數(shù)


plt.show()

在這里插入圖片描述