python 實現(xiàn)樸素貝葉斯算法的示例
更新時間:2020年09月30日 11:21:55 作者:鄙人劍人肖
這篇文章主要介紹了python實現(xiàn)樸素貝葉斯算法的示例,幫助大家更好的理解和學(xué)習(xí)python 機(jī)器學(xué)習(xí)算法,感興趣的朋友可以了解下
特點
- 這是分類算法貝葉斯算法的較為簡單的一種,整個貝葉斯分類算法的核心就是在求解貝葉斯方程P(y|x)=[P(x|y)P(y)]/P(x)
- 而樸素貝葉斯算法就是在犧牲一定準(zhǔn)確率的情況下強(qiáng)制特征x滿足獨立條件,求解P(x|y)就更為方便了
- 但基本上現(xiàn)實生活中,沒有任何關(guān)系的兩個特征幾乎是不存在的,故樸素貝葉斯不適合那些關(guān)系密切的特征
from collections import defaultdict import numpy as np from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from loguru import logger class NaiveBayesScratch(): """樸素貝葉斯算法Scratch實現(xiàn)""" def __init__(self): # 存儲先驗概率 P(Y=ck) self._prior_prob = defaultdict(float) # 存儲似然概率 P(X|Y=ck) self._likelihood = defaultdict(defaultdict) # 存儲每個類別的樣本在訓(xùn)練集中出現(xiàn)次數(shù) self._ck_counter = defaultdict(float) # 存儲每一個特征可能取值的個數(shù) self._Sj = defaultdict(float) def fit(self, X, y): """ 模型訓(xùn)練,參數(shù)估計使用貝葉斯估計 X: 訓(xùn)練集,每一行表示一個樣本,每一列表示一個特征或?qū)傩? y: 訓(xùn)練集標(biāo)簽 """ n_sample, n_feature = X.shape # 計算每個類別可能的取值以及每個類別樣本個數(shù) ck, num_ck = np.unique(y, return_counts=True) self._ck_counter = dict(zip(ck, num_ck)) for label, num_label in self._ck_counter.items(): # 計算先驗概率,做了拉普拉斯平滑處理,即計算P(y) self._prior_prob[label] = (num_label + 1) / (n_sample + ck.shape[0]) # 記錄每個類別樣本對應(yīng)的索引 ck_idx = [] for label in ck: label_idx = np.squeeze(np.argwhere(y == label)) ck_idx.append(label_idx) # 遍歷每個類別 for label, idx in zip(ck, ck_idx): xdata = X[idx] # 記錄該類別所有特征對應(yīng)的概率 label_likelihood = defaultdict(defaultdict) # 遍歷每個特征 for i in range(n_feature): # 記錄該特征每個取值對應(yīng)的概率 feature_val_prob = defaultdict(float) # 獲取該列特征可能的取值和每個取值出現(xiàn)的次數(shù) feature_val, feature_cnt = np.unique(xdata[:, i], return_counts=True) self._Sj[i] = feature_val.shape[0] feature_counter = dict(zip(feature_val, feature_cnt)) for fea_val, cnt in feature_counter.items(): # 計算該列特征每個取值的概率,做了拉普拉斯平滑,即為了計算P(x|y) feature_val_prob[fea_val] = (cnt + 1) / (self._ck_counter[label] + self._Sj[i]) label_likelihood[i] = feature_val_prob self._likelihood[label] = label_likelihood def predict(self, x): """ 輸入樣本,輸出其類別,本質(zhì)上是計算后驗概率 **注意計算后驗概率的時候?qū)Ω怕嗜?shù)**,概率連乘可能導(dǎo)致浮點數(shù)下溢,取對數(shù)將連乘轉(zhuǎn)化為求和 """ # 保存分類到每個類別的后驗概率,即計算P(y|x) post_prob = defaultdict(float) # 遍歷每個類別計算后驗概率 for label, label_likelihood in self._likelihood.items(): prob = np.log(self._prior_prob[label]) # 遍歷樣本每一維特征 for i, fea_val in enumerate(x): feature_val_prob = label_likelihood[i] # 如果該特征值出現(xiàn)在訓(xùn)練集中則直接獲取概率 if fea_val in feature_val_prob: prob += np.log(feature_val_prob[fea_val]) else: # 如果該特征沒有出現(xiàn)在訓(xùn)練集中則采用拉普拉斯平滑計算概率 laplace_prob = 1 / (self._ck_counter[label] + self._Sj[i]) prob += np.log(laplace_prob) post_prob[label] = prob prob_list = list(post_prob.items()) prob_list.sort(key=lambda v: v[1], reverse=True) # 返回后驗概率最大的類別作為預(yù)測類別 return prob_list[0][0] def main(): X, y = load_iris(return_X_y=True) xtrain, xtest, ytrain, ytest = train_test_split(X, y, train_size=0.8, shuffle=True) model = NaiveBayesScratch() model.fit(xtrain, ytrain) n_test = xtest.shape[0] n_right = 0 for i in range(n_test): y_pred = model.predict(xtest[i]) if y_pred == ytest[i]: n_right += 1 else: logger.info("該樣本真實標(biāo)簽為:{},但是Scratch模型預(yù)測標(biāo)簽為:{}".format(ytest[i], y_pred)) logger.info("Scratch模型在測試集上的準(zhǔn)確率為:{}%".format(n_right * 100 / n_test)) if __name__ == "__main__": main()
以上就是python 實現(xiàn)樸素貝葉斯算法的示例的詳細(xì)內(nèi)容,更多關(guān)于python實現(xiàn)樸素貝葉斯算法的資料請關(guān)注腳本之家其它相關(guān)文章!
您可能感興趣的文章:
相關(guān)文章
使用Python實現(xiàn)MP4轉(zhuǎn)GIF
在日常生活中,我們經(jīng)常會遇到需要將 MP4 文件轉(zhuǎn)換為 GIF 文件的需求,本文將介紹一種使用 Python 實現(xiàn) MP4 轉(zhuǎn) GIF 程序的方法,這種方法簡單易學(xué),而且完全免費(fèi),需要的可以參考下2023-12-12Python+Pygame實現(xiàn)海洋之神大冒險游戲
這篇文章主要介紹了如何利用Python+Pygame自制一個海洋之神大冒險游戲。規(guī)則是在海里收集魚骨頭,有些魚骨頭可以轉(zhuǎn)化為武器,用來攻擊敵人,感興趣的可以了解一下2022-08-08基于python的圖片修復(fù)程序(實現(xiàn)水印去除)
這篇文章主要給大家介紹了關(guān)于python圖片修復(fù)程序的相關(guān)資料,可以用于實現(xiàn)圖片中水印去除,主要利用的是OpenCV這個框架實現(xiàn)的,文中通過示例代碼介紹的非常詳細(xì),需要的朋友可以參考借鑒,下面來一起看看吧2018-06-06使用Python進(jìn)行新浪微博的mid和url互相轉(zhuǎn)換實例(10進(jìn)制和62進(jìn)制互算)
我們在使用新浪微博API時,有時需要得到一個微博的url,但是如statuses/public_timeline等接口中取得的微博status的字段中并沒有包含2014-04-04python基本算法之實現(xiàn)歸并排序(Merge sort)
這篇文章主要給大家介紹了關(guān)于python基本算法之實現(xiàn)歸并排序(Merge sort)的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-09-09Python簡單網(wǎng)絡(luò)編程示例【客戶端與服務(wù)端】
這篇文章主要介紹了Python簡單網(wǎng)絡(luò)編程,詳細(xì)介紹了客戶端與服務(wù)端的具體實現(xiàn)技巧與相關(guān)注意事項,需要的朋友可以參考下2017-05-05