欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

python 實現(xiàn)樸素貝葉斯算法的示例

 更新時間:2020年09月30日 11:21:55   作者:鄙人劍人肖  
這篇文章主要介紹了python實現(xiàn)樸素貝葉斯算法的示例,幫助大家更好的理解和學(xué)習(xí)python 機(jī)器學(xué)習(xí)算法,感興趣的朋友可以了解下

特點

  • 這是分類算法貝葉斯算法的較為簡單的一種,整個貝葉斯分類算法的核心就是在求解貝葉斯方程P(y|x)=[P(x|y)P(y)]/P(x)
  • 而樸素貝葉斯算法就是在犧牲一定準(zhǔn)確率的情況下強(qiáng)制特征x滿足獨立條件,求解P(x|y)就更為方便了
  • 但基本上現(xiàn)實生活中,沒有任何關(guān)系的兩個特征幾乎是不存在的,故樸素貝葉斯不適合那些關(guān)系密切的特征
from collections import defaultdict
import numpy as np
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from loguru import logger


class NaiveBayesScratch():
 """樸素貝葉斯算法Scratch實現(xiàn)"""
 def __init__(self):
  # 存儲先驗概率 P(Y=ck)
  self._prior_prob = defaultdict(float)
  # 存儲似然概率 P(X|Y=ck)
  self._likelihood = defaultdict(defaultdict)
  # 存儲每個類別的樣本在訓(xùn)練集中出現(xiàn)次數(shù)
  self._ck_counter = defaultdict(float)
  # 存儲每一個特征可能取值的個數(shù)
  self._Sj = defaultdict(float)

 def fit(self, X, y):
  """
  模型訓(xùn)練,參數(shù)估計使用貝葉斯估計
  X:
   訓(xùn)練集,每一行表示一個樣本,每一列表示一個特征或?qū)傩?
  y:
   訓(xùn)練集標(biāo)簽
  """
  n_sample, n_feature = X.shape
  # 計算每個類別可能的取值以及每個類別樣本個數(shù)
  ck, num_ck = np.unique(y, return_counts=True)
  self._ck_counter = dict(zip(ck, num_ck))
  for label, num_label in self._ck_counter.items():
   # 計算先驗概率,做了拉普拉斯平滑處理,即計算P(y)
   self._prior_prob[label] = (num_label + 1) / (n_sample + ck.shape[0])

  # 記錄每個類別樣本對應(yīng)的索引
  ck_idx = []
  for label in ck:
   label_idx = np.squeeze(np.argwhere(y == label))
   ck_idx.append(label_idx)

  # 遍歷每個類別
  for label, idx in zip(ck, ck_idx):
   xdata = X[idx]
   # 記錄該類別所有特征對應(yīng)的概率
   label_likelihood = defaultdict(defaultdict)
   # 遍歷每個特征
   for i in range(n_feature):
    # 記錄該特征每個取值對應(yīng)的概率
    feature_val_prob = defaultdict(float)
    # 獲取該列特征可能的取值和每個取值出現(xiàn)的次數(shù)
    feature_val, feature_cnt = np.unique(xdata[:, i], return_counts=True)
    self._Sj[i] = feature_val.shape[0]
    feature_counter = dict(zip(feature_val, feature_cnt))
    for fea_val, cnt in feature_counter.items():
     # 計算該列特征每個取值的概率,做了拉普拉斯平滑,即為了計算P(x|y)
     feature_val_prob[fea_val] = (cnt + 1) / (self._ck_counter[label] + self._Sj[i])
    label_likelihood[i] = feature_val_prob
   self._likelihood[label] = label_likelihood

 def predict(self, x):
  """
  輸入樣本,輸出其類別,本質(zhì)上是計算后驗概率
  **注意計算后驗概率的時候?qū)Ω怕嗜?shù)**,概率連乘可能導(dǎo)致浮點數(shù)下溢,取對數(shù)將連乘轉(zhuǎn)化為求和
  """
  # 保存分類到每個類別的后驗概率,即計算P(y|x)
  post_prob = defaultdict(float)
  # 遍歷每個類別計算后驗概率
  for label, label_likelihood in self._likelihood.items():
   prob = np.log(self._prior_prob[label])
   # 遍歷樣本每一維特征
   for i, fea_val in enumerate(x):
    feature_val_prob = label_likelihood[i]
    # 如果該特征值出現(xiàn)在訓(xùn)練集中則直接獲取概率
    if fea_val in feature_val_prob:
     prob += np.log(feature_val_prob[fea_val])
    else:
     # 如果該特征沒有出現(xiàn)在訓(xùn)練集中則采用拉普拉斯平滑計算概率
     laplace_prob = 1 / (self._ck_counter[label] + self._Sj[i])
     prob += np.log(laplace_prob)
   post_prob[label] = prob
  prob_list = list(post_prob.items())
  prob_list.sort(key=lambda v: v[1], reverse=True)
  # 返回后驗概率最大的類別作為預(yù)測類別
  return prob_list[0][0]


def main():
 X, y = load_iris(return_X_y=True)
 xtrain, xtest, ytrain, ytest = train_test_split(X, y, train_size=0.8, shuffle=True)

 model = NaiveBayesScratch()
 model.fit(xtrain, ytrain)

 n_test = xtest.shape[0]
 n_right = 0
 for i in range(n_test):
  y_pred = model.predict(xtest[i])
  if y_pred == ytest[i]:
   n_right += 1
  else:
   logger.info("該樣本真實標(biāo)簽為:{},但是Scratch模型預(yù)測標(biāo)簽為:{}".format(ytest[i], y_pred))
 logger.info("Scratch模型在測試集上的準(zhǔn)確率為:{}%".format(n_right * 100 / n_test))

if __name__ == "__main__":
 main()

以上就是python 實現(xiàn)樸素貝葉斯算法的示例的詳細(xì)內(nèi)容,更多關(guān)于python實現(xiàn)樸素貝葉斯算法的資料請關(guān)注腳本之家其它相關(guān)文章!

相關(guān)文章

  • 使用Python實現(xiàn)MP4轉(zhuǎn)GIF

    使用Python實現(xiàn)MP4轉(zhuǎn)GIF

    在日常生活中,我們經(jīng)常會遇到需要將 MP4 文件轉(zhuǎn)換為 GIF 文件的需求,本文將介紹一種使用 Python 實現(xiàn) MP4 轉(zhuǎn) GIF 程序的方法,這種方法簡單易學(xué),而且完全免費(fèi),需要的可以參考下
    2023-12-12
  • Python+Pygame實現(xiàn)海洋之神大冒險游戲

    Python+Pygame實現(xiàn)海洋之神大冒險游戲

    這篇文章主要介紹了如何利用Python+Pygame自制一個海洋之神大冒險游戲。規(guī)則是在海里收集魚骨頭,有些魚骨頭可以轉(zhuǎn)化為武器,用來攻擊敵人,感興趣的可以了解一下
    2022-08-08
  • 基于python的圖片修復(fù)程序(實現(xiàn)水印去除)

    基于python的圖片修復(fù)程序(實現(xiàn)水印去除)

    這篇文章主要給大家介紹了關(guān)于python圖片修復(fù)程序的相關(guān)資料,可以用于實現(xiàn)圖片中水印去除,主要利用的是OpenCV這個框架實現(xiàn)的,文中通過示例代碼介紹的非常詳細(xì),需要的朋友可以參考借鑒,下面來一起看看吧
    2018-06-06
  • python生成器generator用法實例分析

    python生成器generator用法實例分析

    這篇文章主要介紹了python生成器generator用法,實例分析了python生成器的相關(guān)使用技巧,需要的朋友可以參考下
    2015-06-06
  • 使用Python進(jìn)行新浪微博的mid和url互相轉(zhuǎn)換實例(10進(jìn)制和62進(jìn)制互算)

    使用Python進(jìn)行新浪微博的mid和url互相轉(zhuǎn)換實例(10進(jìn)制和62進(jìn)制互算)

    我們在使用新浪微博API時,有時需要得到一個微博的url,但是如statuses/public_timeline等接口中取得的微博status的字段中并沒有包含
    2014-04-04
  • Python如何將字符串轉(zhuǎn)換為日期

    Python如何將字符串轉(zhuǎn)換為日期

    這篇文章主要介紹了Python如何將字符串轉(zhuǎn)換為日期,文中講解非常細(xì)致,代碼幫助大家更好的理解和學(xué)習(xí),感興趣的朋友可以了解下
    2020-07-07
  • python基本算法之實現(xiàn)歸并排序(Merge sort)

    python基本算法之實現(xiàn)歸并排序(Merge sort)

    這篇文章主要給大家介紹了關(guān)于python基本算法之實現(xiàn)歸并排序(Merge sort)的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2020-09-09
  • Python3如何解決字符編碼問題詳解

    Python3如何解決字符編碼問題詳解

    字符串是一種數(shù)據(jù)類型,但是,字符串比較特殊的是還有一個編碼問題。下面這篇文章主要給大家介紹了關(guān)于Python3如何解決字符編碼問題的相關(guān)資料,文中介紹的還是相對比較詳細(xì)的,需要的朋友可以參考借鑒,下面來一起看看吧。
    2017-04-04
  • Python繪圖之turtle庫的基礎(chǔ)語法使用

    Python繪圖之turtle庫的基礎(chǔ)語法使用

    這篇文章主要給大家介紹了關(guān)于Python繪圖之turtle庫的基礎(chǔ)語法使用的相關(guān)資料, Turtle庫是Python語言中一個很流行的繪制圖像的函數(shù)庫,再繪圖的時候經(jīng)常需要用到的一個庫需要的朋友可以參考下
    2021-06-06
  • Python簡單網(wǎng)絡(luò)編程示例【客戶端與服務(wù)端】

    Python簡單網(wǎng)絡(luò)編程示例【客戶端與服務(wù)端】

    這篇文章主要介紹了Python簡單網(wǎng)絡(luò)編程,詳細(xì)介紹了客戶端與服務(wù)端的具體實現(xiàn)技巧與相關(guān)注意事項,需要的朋友可以參考下
    2017-05-05

最新評論