python基于numpy的線性回歸
本文實(shí)例為大家分享了python基于numpy的線性回歸的具體代碼,供大家參考,具體內(nèi)容如下
class類中包含:
創(chuàng)建數(shù)據(jù)
參數(shù)初始化
計(jì)算輸出值,損失值,dw,db
預(yù)測函數(shù)
交叉驗(yàn)證函數(shù)
其中用到的數(shù)據(jù)集為sklearn中的糖尿病數(shù)據(jù)集
具體代碼如下:
import numpy as np from sklearn.utils import shuffle from sklearn.datasets import load_diabetes import matplotlib.pyplot as plt #基于numpy實(shí)現(xiàn)一個(gè)簡單的線性回歸模型 #用class進(jìn)行簡單封裝 class lr_model(): ? ? def __init__(self): ? ? ? ? pass ? ? # diabetes 是一個(gè)關(guān)于糖尿病的數(shù)據(jù)集, 該數(shù)據(jù)集包括442個(gè)病人的生理數(shù)據(jù)及一年以后的病情發(fā)展情況。 ? ? # 數(shù)據(jù)集中的特征值總共10項(xiàng), 如下: ? ? # 年齡 ? ? # 性別 ? ? # 體質(zhì)指數(shù) ? ? # 血壓 ? ? # s1,s2,s3,s4,s4,s6 ?(六種血清的化驗(yàn)數(shù)據(jù)) ? ? # 但請注意,以上的數(shù)據(jù)是經(jīng)過特殊處理, 10個(gè)數(shù)據(jù)中的每個(gè)都做了均值中心化處理,然后又用標(biāo)準(zhǔn)差乘以個(gè)體數(shù)量調(diào)整了數(shù)值范圍。驗(yàn)證就會發(fā)現(xiàn)任何一列的所有數(shù)值平方和為1. ? ? def prepare_data(self): ? ? ? ? data = load_diabetes().data ? ? ? ? target = load_diabetes().target ? ? ? ? #數(shù)據(jù)打亂 ? ? ? ? X, y = shuffle(data, target, random_state=42) ? ? ? ? X = X.astype(np.float32) ? ? ? ? y = y.reshape((-1, 1))#標(biāo)簽變成列向量形式 ? ? ? ? data = np.concatenate((X, y), axis=1)#橫向變?yōu)閿?shù)據(jù)標(biāo)簽的行向量 ? ? ? ? return data ? ? ?#初始化參數(shù),權(quán)值與偏執(zhí)初始化 ? ? def initialize_params(self, dims): ? ? ? ? w = np.zeros((dims, 1)) ? ? ? ? b = 0 ? ? ? ? return w, b ? ? def linear_loss(self, X, y, w, b): ? ? ? ? num_train = X.shape[0]#行數(shù)訓(xùn)練數(shù)目 ? ? ? ? num_feature = X.shape[1]#列數(shù)表示特征值數(shù)目 ? ? ? ? y_hat = np.dot(X, w) + b#y=w*x+b ? ? ? ? loss = np.sum((y_hat - y) ** 2) / num_train#計(jì)算損失函數(shù) ? ? ? ? dw = np.dot(X.T, (y_hat - y)) / num_train#計(jì)算梯度 ? ? ? ? db = np.sum((y_hat - y)) / num_train ? ? ? ? return y_hat, loss, dw, db ? ? def linear_train(self, X, y, learning_rate, epochs): ? ? ? ? w, b = self.initialize_params(X.shape[1])#參數(shù)初始化 ? ? ? ? loss_list = [] ? ? ? ? for i in range(1, epochs): ? ? ? ? ? ? y_hat, loss, dw, db = self.linear_loss(X, y, w, b) ? ? ? ? ? ? w += -learning_rate * dw ? ? ? ? ? ? b += -learning_rate * db#參數(shù)更新 ? ? ? ? ? ? loss_list.append(loss) ? ? ? ? if i % 10000 == 0:#每到一定輪數(shù)進(jìn)行打印輸出 ? ? ? ? ? ? print('epoch %d loss %f' % (i, loss)) ? ? ? ? #參數(shù)保存 ? ? ? ? params = { ? ? ? ? ? ? 'w': w, ? ? ? ? ? ? 'b': b ? ? ? ? } ? ? ? ? grads = { ? ? ? ? ? ? 'dw': dw, ? ? ? ? ? ? 'db': db ? ? ? ? } ? ? ? ? return loss, params, grads,loss_list ? ? #預(yù)測函數(shù) ? ? def predict(self, X, params): ? ? ? ? w = params['w'] ? ? ? ? b = params['b'] ? ? ? ? y_pred = np.dot(X, w) + b ? ? ? ? return y_pred ? ?#隨機(jī)交叉驗(yàn)證函數(shù),如何選測試集、訓(xùn)練集 ? ? def linear_cross_validation(self, data, k, randomize=True): ? ? ? ? if randomize: ? ? ? ? ? ? data = list(data) ? ? ? ? ? ? shuffle(data) ? ? ? ? slices = [data[i::k] for i in range(k)]#k為step ? ? ? ? for i in range(k): ? ? ? ? ? ? validation = slices[i] ? ? ? ? ? ? train = [data for s in slices if s is not validation for data in s]#將不為測試集的數(shù)據(jù)作為訓(xùn)練集 ? ? ? ? ? ? train = np.array(train) ? ? ? ? ? ? validation = np.array(validation) ? ? ? ? ? ? yield train, validation#yield 變?yōu)榭傻?每次返回 if __name__ == '__main__': ? ? lr = lr_model() ? ? data = lr.prepare_data() ? ? for train, validation in lr.linear_cross_validation(data, 5): ? ? ? ? X_train = train[:, :10] ? ? ? ? y_train = train[:, -1].reshape((-1, 1)) ? ? ? ? X_valid = validation[:, :10] ? ? ? ? y_valid = validation[:, -1].reshape((-1, 1)) ? ? ? ? loss5 = [] ? ? ? ? loss, params, grads,loss_list = lr.linear_train(X_train, y_train, 0.001, 100000) ? ? ? ? plt.plot(loss_list, color='blue') ? ? ? ? plt.xlabel('epochs') ? ? ? ? plt.ylabel('loss') ? ? ? ? plt.show() ? ? ? ? loss5.append(loss) ? ? ? ? score = np.mean(loss5) ? ? ? ? print('five kold cross validation score is', score)#5類數(shù)據(jù)的測試分?jǐn)?shù) ? ? ? ? y_pred = lr.predict(X_valid, params) ? ? ? ? plt.scatter(range(X_valid.shape[0]),y_valid) ? ? ? ? plt.scatter(range(X_valid.shape[0]),y_pred,color='red') ? ? ? ? plt.xlabel('x') ? ? ? ? plt.ylabel('y') ? ? ? ? plt.show() ? ? ? ? valid_score = np.sum(((y_pred - y_valid) ** 2)) / len(X_valid) ? ? ? ? print('valid score is', valid_score)
結(jié)果如下:
以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
- python實(shí)現(xiàn)線性回歸算法
- python深度總結(jié)線性回歸
- python機(jī)器學(xué)習(xí)基礎(chǔ)線性回歸與嶺回歸算法詳解
- Python線性回歸圖文實(shí)例詳解
- python實(shí)現(xiàn)線性回歸的示例代碼
- python數(shù)據(jù)分析之線性回歸選擇基金
- Python實(shí)現(xiàn)多元線性回歸的梯度下降法
- Python構(gòu)建簡單線性回歸模型
- Python反向傳播實(shí)現(xiàn)線性回歸步驟詳細(xì)講解
- python繪制y關(guān)于x的線性回歸線性方程圖像實(shí)例
- python實(shí)現(xiàn)線性回歸的示例代碼
相關(guān)文章
python3美化表格數(shù)據(jù)輸出結(jié)果的實(shí)現(xiàn)代碼
本文介紹了兩種表格數(shù)據(jù)的打印工具:tabulate和prettytable的安裝與基本使用方法,通過實(shí)例講解的非常詳細(xì),需要的朋友參考下吧2021-04-04在Python中居然可以定義兩個(gè)同名通參數(shù)的函數(shù)
今天小編就為大家分享一篇在Python中居然可以定義兩個(gè)同名通參數(shù)的函數(shù),具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-01-01Python?Pandas:DataFrame一列切分成多列、分隔符切分選字段方式
這篇文章主要介紹了Python?Pandas:DataFrame一列切分成多列、分隔符切分選字段方式,具有很好的參考價(jià)值,希望對大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-09-09Django項(xiàng)目使用ckeditor詳解(不使用admin)
今天小編就為大家分享一篇Django項(xiàng)目使用ckeditor詳解(不使用admin),具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-12-12