scikit-learn線(xiàn)性回歸，多元回歸，多項(xiàng)式回歸的實(shí)現(xiàn)
匹薩的直徑與價(jià)格的數(shù)據(jù)
%matplotlib inline import matplotlib.pyplot as plt def runplt(): plt.figure() plt.title(u'diameter-cost curver') plt.xlabel(u'diameter') plt.ylabel(u'cost') plt.axis([0, 25, 0, 25]) plt.grid(True) return plt plt = runplt() X = [[6], [8], [10], [14], [18]] y = [[7], [9], [13], [17.5], [18]] plt.plot(X, y, 'k.') plt.show()
訓(xùn)練模型
from sklearn.linear_model import LinearRegression
import numpy as np
# 創(chuàng)建并擬合模型
model = LinearRegression()
model.fit(X, y)
print('預(yù)測(cè)一張12英寸匹薩價(jià)格：$%.2f' % model.predict(np.array([12]).reshape(-1, 1))[0])
預(yù)測(cè)一張12英寸匹薩價(jià)格：$13.68
一元線(xiàn)性回歸假設(shè)解釋變量和響應(yīng)變量之間存在線(xiàn)性關(guān)系；這個(gè)線(xiàn)性模型所構(gòu)成的空間是一個(gè)超平面（hyperplane）。
超平面是n維歐氏空間中余維度等于一的線(xiàn)性子空間，如平面中的直線(xiàn)、空間中的平面等，總比包含它的空間少一維。
在一元線(xiàn)性回歸中，一個(gè)維度是響應(yīng)變量，另一個(gè)維度是解釋變量，總共兩維。因此，其超平面只有一維，就是一條線(xiàn)。
上述代碼中sklearn.linear_model.LinearRegression類(lèi)是一個(gè)估計(jì)器（estimator）。估計(jì)器依據(jù)觀測(cè)值來(lái)預(yù)測(cè)結(jié)果。在scikit-learn里面，所有的估計(jì)器都帶有:
- fit()
- predict()
fit()用來(lái)分析模型參數(shù)，predict()是通過(guò)fit()算出的模型參數(shù)構(gòu)成的模型，對(duì)解釋變量進(jìn)行預(yù)測(cè)獲得的值。
因?yàn)樗械墓烙?jì)器都有這兩種方法，所有scikit-learn很容易實(shí)驗(yàn)不同的模型。
一元線(xiàn)性回歸模型：
y=α+βx
一元線(xiàn)性回歸擬合模型的參數(shù)估計(jì)常用方法是:
- 普通最小二乘法（ordinary least squares ）
- 線(xiàn)性最小二乘法（linear least squares）
首先，我們定義出擬合成本函數(shù)，然后對(duì)參數(shù)進(jìn)行數(shù)理統(tǒng)計(jì)。
plt = runplt() plt.plot(X, y, 'k.') X2 = [[0], [10], [14], [25]] model = LinearRegression() model.fit(X, y) y2 = model.predict(X2) plt.plot(X, y, 'k.') plt.plot(X2, y2, 'g-') plt.show()
plt = runplt() plt.plot(X, y, 'k.') y3 = [14.25, 14.25, 14.25, 14.25] y4 = y2 * 0.5 + 5 model.fit(X[1:-1], y[1:-1]) y5 = model.predict(X2) plt.plot(X, y, 'k.') plt.plot(X2, y2, 'g-.') plt.plot(X2, y3, 'r-.') plt.plot(X2, y4, 'y-.') plt.plot(X2, y5, 'o-') plt.show()
成本函數(shù)（cost function）也叫損失函數(shù)（loss function），用來(lái)定義模型與觀測(cè)值的誤差。模型預(yù)測(cè)的價(jià)格與訓(xùn)練集數(shù)據(jù)的差異稱(chēng)為殘差（residuals）或訓(xùn)練誤差（training errors）。后面我們會(huì)用模型計(jì)算測(cè)試集，那時(shí)模型預(yù)測(cè)的價(jià)格與測(cè)試集數(shù)據(jù)的差異稱(chēng)為預(yù)測(cè)誤差（prediction errors）或訓(xùn)練誤差（test errors）。
模型的殘差是訓(xùn)練樣本點(diǎn)與線(xiàn)性回歸模型的縱向距離，如下圖所示：
plt = runplt() plt.plot(X, y, 'k.') X2 = [[0], [10], [14], [25]] model = LinearRegression() model.fit(X, y) y2 = model.predict(X2) plt.plot(X, y, 'k.') plt.plot(X2, y2, 'g-') # 殘差預(yù)測(cè)值 yr = model.predict(X) for idx, x in enumerate(X): plt.plot([x, x], [y[idx], yr[idx]], 'r-') plt.show()
我們可以通過(guò)殘差之和最小化實(shí)現(xiàn)最佳擬合，也就是說(shuō)模型預(yù)測(cè)的值與訓(xùn)練集的數(shù)據(jù)最接近就是最佳擬合。對(duì)模型的擬合度進(jìn)行評(píng)估的函數(shù)稱(chēng)為殘差平方和（residual sum of squares）成本函數(shù)。就是讓所有訓(xùn)練數(shù)據(jù)與模型的殘差的平方之和最小化，如下所示：
其中，
import numpy as np
print('殘差平方和: %.2f' % np.mean((model.predict(X) - y) ** 2))
殘差平方和: 1.75
解一元線(xiàn)性回歸的最小二乘法
通過(guò)成本函數(shù)最小化獲得參數(shù)，我們先求相關(guān)系數(shù) ββ 。按照頻率論的觀點(diǎn)，我們首先需要計(jì)算 xx 的方差和 xx 與 yy 的協(xié)方差。
方差是用來(lái)衡量樣本分散程度的。如果樣本全部相等，那么方差為0。方差越小，表示樣本越集中，反正則樣本越分散。方差計(jì)算公式如下：
Numpy里面有var方法可以直接計(jì)算方差，ddof參數(shù)是貝塞爾(無(wú)偏估計(jì))校正系數(shù)（Bessel's correction），設(shè)置為1，可得樣本方差無(wú)偏估計(jì)量。
print(np.var([6, 8, 10, 14, 18], ddof=1))
23.2
協(xié)方差表示兩個(gè)變量的總體的變化趨勢(shì)。如果兩個(gè)變量的變化趨勢(shì)一致，也就是說(shuō)如果其中一個(gè)大于自身的期望值，另外一個(gè)也大于自身的期望值，那么兩個(gè)變量之間的協(xié)方差就是正值。 如果兩個(gè)變量的變化趨勢(shì)相反，即其中一個(gè)大于自身的期望值，另外一個(gè)卻小于自身的期望值，那么兩個(gè)變量之間的協(xié)方差就是負(fù)值。如果兩個(gè)變量不相關(guān)，則協(xié)方差為0，變量線(xiàn)性無(wú)關(guān)不表示一定沒(méi)有其他相關(guān)性。協(xié)方差公式如下：
其中，
import numpy as np print(np.cov([6, 8, 10, 14, 18], [7, 9, 13, 17.5, 18])[0][1])
22.65
現(xiàn)在有了方差和協(xié)方差，就可以計(jì)算相關(guān)系統(tǒng)
算出
將前面的數(shù)據(jù)帶入公式就可以求出
模型評(píng)估
前面我們用學(xué)習(xí)算法對(duì)訓(xùn)練集進(jìn)行估計(jì)，得出了模型的參數(shù)。有些度量方法可以用來(lái)評(píng)估預(yù)測(cè)效果，我們用R方（r-squared）評(píng)估匹薩價(jià)格預(yù)測(cè)的效果。R方也叫確定系數(shù)（coefficient of determination），表示模型對(duì)現(xiàn)實(shí)數(shù)據(jù)擬合的程度。計(jì)算R方的方法有幾種。一元線(xiàn)性回歸中R方等于皮爾遜積矩相關(guān)系數(shù)（Pearson product moment correlation coefficient或Pearson's r）的平方。種方法計(jì)算的R方一定介于0～1之間的正數(shù)。其他計(jì)算方法，包括scikit-learn中的方法，不是用皮爾遜積矩相關(guān)系數(shù)的平方計(jì)算的，因此當(dāng)模型擬合效果很差的時(shí)候R方會(huì)是負(fù)值。下面我們用scikit-learn方法來(lái)計(jì)算R方。
R方是0.6620說(shuō)明測(cè)試集里面過(guò)半數(shù)的價(jià)格都可以通過(guò)模型解釋?，F(xiàn)在，讓我們用scikit-learn來(lái)驗(yàn)證一下。LinearRegression的score方法可以計(jì)算R方：
# 測(cè)試集 X_test = [[8], [9], [11], [16], [12]] y_test = [[11], [8.5], [15], [18], [11]] model = LinearRegression() model.fit(X, y) model.score(X_test, y_test)
0.66200528638545164
多元回歸
from sklearn.linear_model import LinearRegression
X = [[6, 2], [8, 1], [10, 0], [14, 2], [18, 0]]
y = [[7], [9], [13], [17.5], [18]]
model = LinearRegression()
model.fit(X, y)
X_test = [[8, 2], [9, 0], [11, 2], [16, 2], [12, 0]]
y_test = [[11], [8.5], [15], [18], [11]]
predictions = model.predict(X_test)
for i, prediction in enumerate(predictions):
print('Predicted: %s, Target: %s' % (prediction, y_test[i]))
print('R-squared: %.2f' % model.score(X_test, y_test))
Predicted: [ 10.06250019], Target: [11]
Predicted: [ 10.28125019], Target: [8.5]
Predicted: [ 13.09375019], Target: [15]
Predicted: [ 18.14583353], Target: [18]
Predicted: [ 13.31250019], Target: [11]
R-squared: 0.77
多項(xiàng)式回歸
上例中，我們假設(shè)解釋變量和響應(yīng)變量的關(guān)系是線(xiàn)性的。真實(shí)情況未必如此。下面我們用多項(xiàng)式回歸，一種特殊的多元線(xiàn)性回歸方法，增加了指數(shù)項(xiàng)。現(xiàn)實(shí)世界中的曲線(xiàn)關(guān)系都是通過(guò)增加多項(xiàng)式實(shí)現(xiàn)的，其實(shí)現(xiàn)方式和多元線(xiàn)性回歸類(lèi)似。本例還用一個(gè)解釋變量，匹薩直徑。讓我們用下面的數(shù)據(jù)對(duì)兩種模型做個(gè)比較：
import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import PolynomialFeatures
X_train = [[6], [8], [10], [14], [18]]
y_train = [[7], [9], [13], [17.5], [18]]
X_test = [[6], [8], [11], [16]]
y_test = [[8], [12], [15], [18]]
# 建立線(xiàn)性回歸，并用訓(xùn)練的模型繪圖
regressor = LinearRegression()
regressor.fit(X_train, y_train)
xx = np.linspace(0, 26, 100)
yy = regressor.predict(xx.reshape(xx.shape[0], 1))
plt = runplt()
plt.plot(X_train, y_train, 'k.')
plt.plot(xx, yy)
quadratic_featurizer = PolynomialFeatures(degree=2)
X_train_quadratic = quadratic_featurizer.fit_transform(X_train)
X_test_quadratic = quadratic_featurizer.transform(X_test)
regressor_quadratic = LinearRegression()
regressor_quadratic.fit(X_train_quadratic, y_train)
xx_quadratic = quadratic_featurizer.transform(xx.reshape(xx.shape[0], 1))
plt.plot(xx, regressor_quadratic.predict(xx_quadratic), 'r-')
plt.show()
print(X_train)
print(X_train_quadratic)
print(X_test)
print(X_test_quadratic)
print('1 r-squared', regressor.score(X_test, y_test))
print('2 r-squared', regressor_quadratic.score(X_test_quadratic, y_test))
[[6], [8], [10], [14], [18]]
[[ 1. 6. 36.]
[ 1. 8. 64.]
[ 1. 10. 100.]
[ 1. 14. 196.]
[ 1. 18. 324.]]
[[6], [8], [11], [16]]
[[ 1. 6. 36.]
[ 1. 8. 64.]
[ 1. 11. 121.]
[ 1. 16. 256.]]
('1 r-squared', 0.80972683246686095)
('2 r-squared', 0.86754436563450732)
plt = runplt()
plt.plot(X_train, y_train, 'k.')
quadratic_featurizer = PolynomialFeatures(degree=2)
X_train_quadratic = quadratic_featurizer.fit_transform(X_train)
X_test_quadratic = quadratic_featurizer.transform(X_test)
regressor_quadratic = LinearRegression()
regressor_quadratic.fit(X_train_quadratic, y_train)
xx_quadratic = quadratic_featurizer.transform(xx.reshape(xx.shape[0], 1))
plt.plot(xx, regressor_quadratic.predict(xx_quadratic), 'r-')
cubic_featurizer = PolynomialFeatures(degree=3)
X_train_cubic = cubic_featurizer.fit_transform(X_train)
X_test_cubic = cubic_featurizer.transform(X_test)
regressor_cubic = LinearRegression()
regressor_cubic.fit(X_train_cubic, y_train)
xx_cubic = cubic_featurizer.transform(xx.reshape(xx.shape[0], 1))
plt.plot(xx, regressor_cubic.predict(xx_cubic))
plt.show()
print(X_train_cubic)
print(X_test_cubic)
print('2 r-squared', regressor_quadratic.score(X_test_quadratic, y_test))
print('3 r-squared', regressor_cubic.score(X_test_cubic, y_test))
[[ 1.00000000e+00 6.00000000e+00 3.60000000e+01 2.16000000e+02]
[ 1.00000000e+00 8.00000000e+00 6.40000000e+01 5.12000000e+02]
[ 1.00000000e+00 1.00000000e+01 1.00000000e+02 1.00000000e+03]
[ 1.00000000e+00 1.40000000e+01 1.96000000e+02 2.74400000e+03]
[ 1.00000000e+00 1.80000000e+01 3.24000000e+02 5.83200000e+03]]
[[ 1.00000000e+00 6.00000000e+00 3.60000000e+01 2.16000000e+02]
[ 1.00000000e+00 8.00000000e+00 6.40000000e+01 5.12000000e+02]
[ 1.00000000e+00 1.10000000e+01 1.21000000e+02 1.33100000e+03]
[ 1.00000000e+00 1.60000000e+01 2.56000000e+02 4.09600000e+03]]
('2 r-squared', 0.86754436563450732)
('3 r-squared', 0.83569241560369567)
plt = runplt()
plt.plot(X_train, y_train, 'k.')
quadratic_featurizer = PolynomialFeatures(degree=2)
X_train_quadratic = quadratic_featurizer.fit_transform(X_train)
X_test_quadratic = quadratic_featurizer.transform(X_test)
regressor_quadratic = LinearRegression()
regressor_quadratic.fit(X_train_quadratic, y_train)
xx_quadratic = quadratic_featurizer.transform(xx.reshape(xx.shape[0], 1))
plt.plot(xx, regressor_quadratic.predict(xx_quadratic), 'r-')
seventh_featurizer = PolynomialFeatures(degree=7)
X_train_seventh = seventh_featurizer.fit_transform(X_train)
X_test_seventh = seventh_featurizer.transform(X_test)
regressor_seventh = LinearRegression()
regressor_seventh.fit(X_train_seventh, y_train)
xx_seventh = seventh_featurizer.transform(xx.reshape(xx.shape[0], 1))
plt.plot(xx, regressor_seventh.predict(xx_seventh))
plt.show()
print('2 r-squared', regressor_quadratic.score(X_test_quadratic, y_test))
print('7 r-squared', regressor_seventh.score(X_test_seventh, y_test))
('2 r-squared', 0.86754436563450732)
('7 r-squared', 0.49198460568655)
可以看出，七次擬合的R方值更低，雖然其圖形基本經(jīng)過(guò)了所有的點(diǎn)?？梢哉J(rèn)為這是擬合過(guò)度（over-fitting）的情況。這種模型并沒(méi)有從輸入和輸出中推導(dǎo)出一般的規(guī)律，而是記憶訓(xùn)練集的結(jié)果，這樣在測(cè)試集的測(cè)試效果就不好了。
正則化
LASSO方法會(huì)產(chǎn)生稀疏參數(shù)，大多數(shù)相關(guān)系數(shù)會(huì)變成0，模型只會(huì)保留一小部分特征。而嶺回歸還是會(huì)保留大多數(shù)盡可能小的相關(guān)系數(shù)。當(dāng)兩個(gè)變量相關(guān)時(shí)，LASSO方法會(huì)讓其中一個(gè)變量的相關(guān)系數(shù)會(huì)變成0，而嶺回歸是將兩個(gè)系數(shù)同時(shí)縮小。
import numpy as np
from sklearn.datasets import load_boston
from sklearn.linear_model import SGDRegressor
from sklearn.cross_validation import cross_val_score
from sklearn.preprocessing import StandardScaler
from sklearn.cross_validation import train_test_split
data = load_boston()
X_train, X_test, y_train, y_test = train_test_split(data.data, data.target)
X_scaler = StandardScaler()
y_scaler = StandardScaler()
X_train = X_scaler.fit_transform(X_train)
y_train = y_scaler.fit_transform(y_train.reshape(-1, 1))
X_test = X_scaler.transform(X_test)
y_test = y_scaler.transform(y_test.reshape(-1, 1))
regressor = SGDRegressor(loss='squared_loss',penalty="l1")
scores = cross_val_score(regressor, X_train, y_train.reshape(-1, 1), cv=5)
print('cv R', scores)
print('mean of cv R', np.mean(scores))
regressor.fit_transform(X_train, y_train)
print('Test set R', regressor.score(X_test, y_test))
('cv R', array([ 0.74761441, 0.62036841, 0.6851797 , 0.63347999, 0.79476346]))
('mean of cv R', 0.69628119572104885)
('Test set R', 0.75084948718041566)
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
- C#直線(xiàn)的最小二乘法線(xiàn)性回歸運(yùn)算實(shí)例
- 如何在python中實(shí)現(xiàn)線(xiàn)性回歸
- 使用Keras實(shí)現(xiàn)簡(jiǎn)單線(xiàn)性回歸模型操作
- Python 線(xiàn)性回歸分析以及評(píng)價(jià)指標(biāo)詳解
- python 線(xiàn)性回歸分析模型檢驗(yàn)標(biāo)準(zhǔn)--擬合優(yōu)度詳解
- 關(guān)于多元線(xiàn)性回歸分析——Python&SPSS
- sklearn+python:線(xiàn)性回歸案例
- python用線(xiàn)性回歸預(yù)測(cè)股票價(jià)格的實(shí)現(xiàn)代碼
- 8種用Python實(shí)現(xiàn)線(xiàn)性回歸的方法對(duì)比詳解
- python 機(jī)器學(xué)習(xí)之支持向量機(jī)非線(xiàn)性回歸SVR模型
- c# 模擬線(xiàn)性回歸的示例
相關(guān)文章
Python3基礎(chǔ)之條件與循環(huán)控制實(shí)例解析
這篇文章主要介紹了Python3基礎(chǔ)的條件與循環(huán)控制,需要的朋友可以參考下2014-08-08
Python集合中remove()函數(shù)的使用方法詳解
這篇文章主要給大家介紹了關(guān)于python集合中remove()函數(shù)的使用，以及在使用Python集合的remove方法時(shí)應(yīng)注意的事項(xiàng),文中通過(guò)示例代碼介紹的非常詳細(xì),需要的朋友可以參考下2023-07-07
Python?基于xml.etree.ElementTree實(shí)現(xiàn)XML對(duì)比示例詳解
這篇文章主要介紹了Python?基于xml.etree.ElementTree實(shí)現(xiàn)XML對(duì)比,本文通過(guò)示例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2022-12-12
解決新版Pycharm中Matplotlib圖像不在彈出獨(dú)立的顯示窗口問(wèn)題
今天小編就為大家分享一篇解決新版Pycharm中Matplotlib圖像不在彈出獨(dú)立的顯示窗口問(wèn)題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-01-01
sqlalchemy對(duì)象轉(zhuǎn)dict的示例
這篇文章主要介紹了sqlalchemy對(duì)象轉(zhuǎn)dict的示例,需要的朋友可以參考下2014-04-04
基于Python 裝飾器裝飾類(lèi)中的方法實(shí)例
下面小編就為大家分享一篇基于Python 裝飾器裝飾類(lèi)中的方法實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-04-04
Python機(jī)器學(xué)習(xí)NLP自然語(yǔ)言處理基本操作精確分詞
本文是Python機(jī)器學(xué)習(xí)NLP自然語(yǔ)言處理系列文章，帶大家開(kāi)啟一段學(xué)習(xí)自然語(yǔ)言處理 (NLP) 的旅程. 本文主要學(xué)習(xí)NLP自然語(yǔ)言處理基本操作之如何精確分詞2021-09-09
Python調(diào)用Zoomeye搜索接口的實(shí)現(xiàn)
本文主要介紹了Python調(diào)用Zoomeye搜索接口的實(shí)現(xiàn)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-01-01
value_counts()?是一個(gè)用于統(tǒng)計(jì)某列中各個(gè)值的出現(xiàn)次數(shù)的函數(shù),本文主要介紹了python之value_counts()的具體使用,具有一定的參考價(jià)值,感興趣的可以了解一下2023-10-10
Python爬蟲(chóng)實(shí)現(xiàn)自動(dòng)登錄、簽到功能的代碼
這篇文章主要介紹了Python爬蟲(chóng)實(shí)現(xiàn)自動(dòng)登錄、簽到功能的代碼,本文通過(guò)圖文并茂的形式給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-08-08