本文介紹人工智能-Python實現(xiàn)嶺回歸,?是一種專用于共線性數(shù)據(jù)分析的有偏估計回歸方法，實質上是一種改良的最小二乘估計法，通過放棄最小二乘法的無偏性，以損失部分信息、降低精度為代價獲得回歸系數(shù)更為符合實際、更可靠的回歸方法，對病態(tài)數(shù)據(jù)的擬合要強于最小二乘法

1 概述

1.1 線性回歸

對于一般地線性回歸問題，參數(shù)的求解采用的是最小二乘法，其目標函數(shù)如下：

1.2 嶺回歸

嶺回歸(ridge regression) 是一種專用于共線性數(shù)據(jù)分析的有偏估計回歸方法。
是一種改良的最小二乘估計法，對某些數(shù)據(jù)的擬合要強于最小二乘法。

1.3 過擬合

圖二就是正常擬合，符合數(shù)據(jù)的趨勢，而圖三，雖然在訓練集上擬合得很好，但是出現(xiàn)未知數(shù)據(jù)時，比如Size很大時，根據(jù)目前擬合來看，可能得到的結果很小，與實際誤差會很大。

2 sklearn中的嶺回歸

在sklearn庫中，可以使用sklearn.linear_model.Ridge調用嶺回歸模型，其主要參數(shù)有：

• alpha：正則化因子，對應于損失函數(shù)中的 ??
• fit_intercept：表示是否計算截距，
• solver：設置計算參數(shù)的方法，可選參數(shù)‘auto’、‘svd’、‘sag’等。

3 案例

交通流量預測實例：

3.1 數(shù)據(jù)介紹

數(shù)據(jù)為某路口的交通流量監(jiān)測數(shù)據(jù)，記錄全年小時級別的車流量。

3.2 實驗目的

根據(jù)已有的數(shù)據(jù)創(chuàng)建多項式特征，使用嶺回歸模型代替一般的線性模型，對車流量的信息進行多項式回歸。

3.3 數(shù)據(jù)特征如下

HR ：一天中的第幾個小時（0-23）
WEEK_DAY ：一周中的第幾天（0-6）
DAY_OF_YEAR ：一年中的第幾天（1-365）
WEEK_OF_YEAR ：一年中的第幾周（1-53）
TRAFFIC_COUNT ：交通流量
全部數(shù)據(jù)集包含2萬條以上數(shù)據(jù)（21626）

4 Python實現(xiàn)

4.1 代碼

#*================1. 建立工程，導入sklearn相關工具包====================**
import numpy as np
from sklearn.linear_model import Ridge ? #通過sklearn.linermodel加載嶺回歸方法
from sklearn import model_selection ? ? #加載交叉驗證模塊
import matplotlib.pyplot as plt ? ? ?#加載matplotilib模塊
from sklearn.preprocessing import PolynomialFeatures ? ? #通過加載用于創(chuàng)建多項式特征，如ab、a2、b2
?
#*=================2. 數(shù)據(jù)加載=========================================**
data=np.genfromtxt('嶺回歸.csv',delimiter=',') ? ? #使用numpy的方法從csv文件中加載數(shù)據(jù)
print(data)
print(data.shape)
plt.plot(data[:,4]) ? ? ? ? ? ? ? ?#使用plt展示車流量信息
#plt.show()
#*================3. 數(shù)據(jù)處理==========================================**
X=data[:,:4] ? ? ? ? ? ? ? ? ?#X用于保存0-3維數(shù)據(jù)，即屬性
y=data[:,4] ? ? ? ? ? ? ? ? ? ##y用于保存第4維數(shù)據(jù)，即車流量
poly=PolynomialFeatures(6) ? ?#用于創(chuàng)建最高次數(shù)6次方的的多項式特征，多次試驗后決定采用6次
X=poly.fit_transform(X) ? ? ? #X為創(chuàng)建的多項式特征
?
#*================4. 劃分訓練集和測試集=================================**
train_set_x, test_set_x , train_set_y, test_set_y =model_selection.train_test_split(X,y,test_size=0.3,
random_state=0)
#將所有數(shù)據(jù)劃分為訓練集和測試集，test_size表示測試集的比例，
# #random_state是隨機數(shù)種子
?
#*==============5. 創(chuàng)建回歸器，并進行訓練===============================**
clf=Ridge(alpha=1.0,fit_intercept = True)
#接下來我們創(chuàng)建嶺回歸實例
clf.fit(train_set_x,train_set_y) #調用fit函數(shù)使用訓練集訓練回歸器
clf.score(test_set_x,test_set_y) #利用測試集計算回歸曲線的擬合優(yōu)度，clf.score返回值為0.7375
#擬合優(yōu)度，用于評價擬合好壞，最大為1，無最小值，當對所有輸入都輸出同一個值時，擬合優(yōu)度為0。
?
#*============6. 畫出擬合曲線=========================================**
start=100 ? ? ? ? ? ? ? ? ? ? ?#接下來我們畫一段200到300范圍內的擬合曲線
end=200
y_pre=clf.predict(X) ? ? ? ? ? #是調用predict函數(shù)的擬合值
time=np.arange(start,end)
plt.plot(time,y[start:end],'b', label="real")
plt.plot(time,y_pre[start:end],'r', label='predict') ? #展示真實數(shù)據(jù)（藍色）以及擬合的曲線（紅色）
plt.legend(loc='upper left') #設置圖例的位置
plt.show()