快捷導(dǎo)航

R語言實(shí)現(xiàn)LASSO回歸的方法

更新時(shí)間：2021年03月12日 12:02:49 作者：R_qun

這篇文章主要介紹了R語言實(shí)現(xiàn)LASSO回歸的方法，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧

Lasso回歸又稱為套索回歸，是Robert Tibshirani于1996年提出的一種新的變量選擇技術(shù)。Lasso是一種收縮估計(jì)方法，其基本思想是在回歸系數(shù)的絕對(duì)值之和小于一個(gè)常數(shù)的約束條件下，使殘差平方和最小化，從而能夠產(chǎn)生某些嚴(yán)格等于0的回歸系數(shù)，進(jìn)一步得到可以解釋的模型。R語言中有多個(gè)包可以實(shí)現(xiàn)Lasso回歸，這里使用lars包實(shí)現(xiàn)。

1.利用lars函數(shù)實(shí)現(xiàn)lasso回歸并可視化顯示

x = as.matrix(data5[, 2:7]) #data5為自己的數(shù)據(jù)集
y = as.matrix(data5[, 1])
lar1 <-lars(x,y,type = "lasso")
lar1 #查看得到的結(jié)果

在這里插入圖片描述

從圖1可以看出通過lasso回歸得到的R^2為0.426，較低。標(biāo)紅的部分是在進(jìn)行l(wèi)asso回歸時(shí)，自變量被選入的順序。下面用圖表的形式顯示。

plot(lar1)

在這里插入圖片描述

可以看到圖2中的豎線對(duì)應(yīng)于lasso中迭代的次數(shù)，對(duì)應(yīng)的系數(shù)值不為0的自變量即為選入的，豎線的標(biāo)號(hào)與圖1中的step相對(duì)應(yīng)。

2.選取cp值最小時(shí)對(duì)應(yīng)的模型，獲取模型對(duì)應(yīng)系數(shù)

對(duì)于選取最小cp值對(duì)應(yīng)的模型可以通過兩種方式實(shí)現(xiàn)：
（1）顯示所有cp值，從中挑選最小的

summary(lar1) #輸出lasso對(duì)象的細(xì)節(jié)，包括Df、RSS和Cp，其中Cp是MallowsCp統(tǒng)計(jì)量，通常選取Cp最小的那個(gè)模型

在這里插入圖片描述

圖3顯示了lasso回歸中所有的cp值，選擇最小的，即上圖標(biāo)紅的部分，對(duì)應(yīng)的df=3,最前面一列對(duì)應(yīng)迭代次數(shù)（即步數(shù)），step=2 。

（2）直接選取最小的cp值

lar1$Cp[which.min(lar$Cp)] #選擇最小Cp，結(jié)果如下：

在這里插入圖片描述

與圖3中標(biāo)紅的部分結(jié)果一樣，但是要注意，2表示的是step大小。

3.選取cp值最小時(shí)對(duì)應(yīng)的模型系數(shù)

（1）獲取所有迭代系數(shù)，根據(jù)step大小選擇cp值最小對(duì)應(yīng)的自變量系數(shù)值

lar1$beta #可以得到每一步對(duì)應(yīng)的自變量對(duì)應(yīng)的系數(shù)

在這里插入圖片描述

圖4標(biāo)紅的部分就是step=2對(duì)應(yīng)的cp值最小時(shí)對(duì)應(yīng)的模型的自變量的系數(shù)

（2）獲取指定迭代次數(shù)（即步數(shù)）對(duì)應(yīng)的自變量的系數(shù)，可以通過下面的代碼實(shí)現(xiàn)：

coef <-coef.lars(lar,mode="step",s=3) #s為step+1，也比圖2中豎線為2的迭代次數(shù)對(duì)應(yīng)，與圖3中df值相等；s取值范圍1-7.
coef[coef!=0] #獲取系數(shù)值不為零的自變量對(duì)應(yīng)的系數(shù)值

在這里插入圖片描述