快捷導(dǎo)航

Python實(shí)現(xiàn)梯度下降法的示例代碼

更新時(shí)間：2022年08月08日 10:46:32 作者：侯小啾

梯度下降法的機(jī)器學(xué)習(xí)的重要思想之一，梯度下降法的目標(biāo)，是使得代價(jià)函數(shù)最小。本文將對梯度下降算法的原理及實(shí)現(xiàn)展開詳細(xì)介紹，感興趣的快跟隨小編一起學(xué)習(xí)學(xué)習(xí)吧

1.首先讀取數(shù)據(jù)集

導(dǎo)包并讀取數(shù)據(jù)，數(shù)據(jù)自行任意準(zhǔn)備，只要有兩列，可以分為自變量x和因變量y即可即可。

import numpy as np
import matplotlib.pyplot as plt

data = np.loadtxt("data.csv", delimiter=",")

x_data = data[:, 0]
y_data = data[:, 1]

2.初始化相關(guān)參數(shù)

# 初始化 學(xué)習(xí)率 即每次梯度下降時(shí)的步長 這里設(shè)置為0.0001
learning_rate = 0.0001

# 初始化 截距b 與 斜率k
b = 0
k = 0

# 初始化最大迭代的次數(shù) 以50次為例
n_iterables = 50

3.定義計(jì)算代價(jià)函數(shù)–>MSE

使用均方誤差 MSE （Mean Square Error）來作為性能度量標(biāo)準(zhǔn)

假設(shè)共有m個(gè)樣本數(shù)據(jù)，則均方誤差：

將該公式定義為代價(jià)函數(shù)，此外為例后續(xù)求導(dǎo)方便，則使結(jié)果在原mse的基礎(chǔ)上，再乘以1/2。

def compute_mse(b,  k,  x_data, y_data):
    total_error = 0
    for i in range(len(x_data)):
        total_error += (y_data[i] - (k * x_data[i] + b)) ** 2

    # 為方便求導(dǎo)：乘以1/2
    mse_ = total_error / len(x_data) / 2
    return mse_

4.梯度下降

分別對上述的MSE表達(dá)式（乘以1/2后）中的k,b求偏導(dǎo)，

更新b和k時(shí)，使用原來的b,k值分別減去關(guān)于b、k的偏導(dǎo)數(shù)與學(xué)習(xí)率的乘積即可。至于為什么使用減號，可以這么理解：以斜率k為例，當(dāng)其導(dǎo)數(shù)大于零的時(shí)候，則表示均方誤差隨著斜率的增大而增大，為了使均方誤差減小，則不應(yīng)該使斜率繼續(xù)增大，所以需要使其減小，反之當(dāng)偏導(dǎo)大于零的時(shí)候也是同理。其次，因?yàn)檫@個(gè)導(dǎo)數(shù)衡量的是均方誤差的變化，而不是斜率和截距的變化，所以這里需要引入一個(gè)學(xué)習(xí)率，使得其與偏導(dǎo)數(shù)的乘積能夠在一定程度上起到控制截距和斜率變化的作用。

def gradient_descent(x_data, y_data, b,  k,  learning_rate,  n_iterables):
    m = len(x_data)
    # 迭代
    for i in range(n_iterables):
        # 初始化b、k的偏導(dǎo)
        b_grad = 0
        k_grad = 0

        # 遍歷m次
        for j in range(m):
            # 對b,k求偏導(dǎo)
            b_grad += (1 / m) * ((k * x_data[j] + b) - y_data[j])
            k_grad += (1 / m) * ((k * x_data[j] + b) - y_data[j]) * x_data[j]

        # 更新 b 和 k  減去偏導(dǎo)乘以學(xué)習(xí)率
        b = b - (learning_rate * b_grad)
        k = k - (learning_rate * k_grad)
        # 每迭代 5 次  輸出一次圖形
        if i % 5 == 0:
            print(f"當(dāng)前第{i}次迭代")
            print("b_gard：", b_grad, "k_gard：", k_grad)
            print("b：", b, "k：", k)
            plt.scatter(x_data, y_data, color="maroon", marker="x")
            plt.plot(x_data, k * x_data + b)
            plt.show()
    return b, k

5.執(zhí)行

print(f"開始：截距b=,斜率k={k}，損失={compute_mse(b,k,x_data,y_data)}")
print("開始迭代")
b, k = gradient_descent(x_data, y_data, b, k, learning_rate, n_iterables)
print(f"迭代{n_iterables}次后：截距b=,斜率k={k}，損失={compute_mse(b,k,x_data,y_data)}")

代碼執(zhí)行過程產(chǎn)生了一系列的圖像，部分圖像如下圖所示，隨著迭代次數(shù)的增加，代價(jià)函數(shù)越來越小，最終達(dá)到預(yù)期效果，如下圖所示：

第5次迭代：