Python實(shí)現(xiàn)樸素貝葉斯的學(xué)習(xí)與分類過程解析
概念簡介:
樸素貝葉斯基于貝葉斯定理,它假設(shè)輸入隨機(jī)變量的特征值是條件獨(dú)立的,故稱之為“樸素”。簡單介紹貝葉斯定理:
乍看起來似乎是要求一個概率,還要先得到額外三個概率,有用么?其實(shí)這個簡單的公式非常貼切人類推理的邏輯,即通過可以觀測的數(shù)據(jù),推測不可觀測的數(shù)據(jù)。舉個例子,也許你在辦公室內(nèi)不知道外面天氣是晴天雨天,但是你觀測到有同事帶了雨傘,那么可以推斷外面八成在下雨。
若X 是要輸入的隨機(jī)變量,則Y 是要輸出的目標(biāo)類別。對X 進(jìn)行分類,即使求的使P(Y|X) 最大的Y值。若X 為n 維特征變量 X = {A1, A2, …..An} ,若輸出類別集合為Y = {C1, C2, …. Cm} 。
X 所屬最有可能類別 y = argmax P(Y|X), 進(jìn)行如下推導(dǎo):
樸素貝葉斯的學(xué)習(xí)
有公式可知,欲求分類結(jié)果,須知如下變量:
各個類別的條件概率,
輸入隨機(jī)變量的特質(zhì)值的條件概率
示例代碼:
import copy class native_bayes_t: def __init__(self, character_vec_, class_vec_): """ 構(gòu)造的時候需要傳入特征向量的值,以數(shù)組方式傳入 參數(shù)1 character_vec_ 格式為 [("character_name",["","",""])] 參數(shù)2 為包含所有類別的數(shù)組 格式為["class_X", "class_Y"] """ self.class_set = {} # 記錄該類別下各個特征值的條件概率 character_condition_per = {} for character_name in character_vec_: character_condition_per[character_name[0]] = {} for character_value in character_name[1]: character_condition_per[character_name[0]][character_value] = { 'num' : 0, # 記錄該類別下該特征值在訓(xùn)練樣本中的數(shù)量, 'condition_per' : 0.0 # 記錄該類別下各個特征值的條件概率 } for class_name in class_vec: self.class_set[class_name] = { 'num' : 0, # 記錄該類別在訓(xùn)練樣本中的數(shù)量, 'class_per' : 0.0, # 記錄該類別在訓(xùn)練樣本中的先驗(yàn)概率, 'character_condition_per' : copy.deepcopy(character_condition_per), } #print("init", character_vec_, self.class_set) #for debug def learn(self, sample_): """ learn 參數(shù)為訓(xùn)練的樣本,格式為 [ { 'character' : {'character_A':'A1'}, #特征向量 'class_name' : 'class_X' #類別名稱 } ] """ for each_sample in sample: character_vec = each_sample['character'] class_name = each_sample['class_name'] data_for_class = self.class_set[class_name] data_for_class['num'] += 1 # 各個特質(zhì)值數(shù)量加1 for character_name in character_vec: character_value = character_vec[character_name] data_for_character = data_for_class['character_condition_per'][character_name][character_value] data_for_character['num'] += 1 # 數(shù)量計(jì)算完畢, 計(jì)算最終的概率值 sample_num = len(sample) for each_sample in sample: character_vec = each_sample['character'] class_name = each_sample['class_name'] data_for_class = self.class_set[class_name] # 計(jì)算類別的先驗(yàn)概率 data_for_class['class_per'] = float(data_for_class['num']) / sample_num # 各個特質(zhì)值的條件概率 for character_name in character_vec: character_value = character_vec[character_name] data_for_character = data_for_class['character_condition_per'][character_name][character_value] data_for_character['condition_per'] = float(data_for_character['num']) / data_for_class['num'] from pprint import pprint pprint(self.class_set) #for debug def classify(self, input_): """ 對輸入進(jìn)行分類,輸入input的格式為 { "character_A":"A1", "character_B":"B3", } """ best_class = '' max_per = 0.0 for class_name in self.class_set: class_data = self.class_set[class_name] per = class_data['class_per'] # 計(jì)算各個特征值條件概率的乘積 for character_name in input_: character_per_data = class_data['character_condition_per'][character_name] per = per * character_per_data[input_[character_name]]['condition_per'] print(class_name, per) if per >= max_per: best_class = class_name return best_class character_vec = [("character_A",["A1","A2","A3"]), ("character_B",["B1","B2","B3"])] class_vec = ["class_X", "class_Y"] bayes = native_bayes_t(character_vec, class_vec) sample = [ { 'character' : {'character_A':'A1', 'character_B':'B1'}, #特征向量 'class_name' : 'class_X' #類別名稱 }, { 'character' : {'character_A':'A3', 'character_B':'B1'}, #特征向量 'class_name' : 'class_X' #類別名稱 }, { 'character' : {'character_A':'A3', 'character_B':'B3'}, #特征向量 'class_name' : 'class_X' #類別名稱 }, { 'character' : {'character_A':'A2', 'character_B':'B2'}, #特征向量 'class_name' : 'class_X' #類別名稱 }, { 'character' : {'character_A':'A2', 'character_B':'B2'}, #特征向量 'class_name' : 'class_Y' #類別名稱 }, { 'character' : {'character_A':'A3', 'character_B':'B1'}, #特征向量 'class_name' : 'class_Y' #類別名稱 }, { 'character' : {'character_A':'A1', 'character_B':'B3'}, #特征向量 'class_name' : 'class_Y' #類別名稱 }, { 'character' : {'character_A':'A1', 'character_B':'B3'}, #特征向量 'class_name' : 'class_Y' #類別名稱 }, ] input_data ={ "character_A":"A1", "character_B":"B3", } bayes.learn(sample) print(bayes.classify(input_data))
總結(jié):
樸素貝葉斯分類實(shí)現(xiàn)簡單,預(yù)測的效率較高
樸素貝葉斯成立的假設(shè)是個特征向量各個屬性條件獨(dú)立,建模的時候需要特別注意
以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
- Python機(jī)器學(xué)習(xí)應(yīng)用之樸素貝葉斯篇
- Python通過樸素貝葉斯和LSTM分別實(shí)現(xiàn)新聞文本分類
- python機(jī)器學(xué)習(xí)樸素貝葉斯算法及模型的選擇和調(diào)優(yōu)詳解
- python實(shí)現(xiàn)貝葉斯推斷的例子
- python 實(shí)現(xiàn)樸素貝葉斯算法的示例
- python實(shí)現(xiàn)基于樸素貝葉斯的垃圾分類算法
- python實(shí)現(xiàn)樸素貝葉斯算法
- 樸素貝葉斯Python實(shí)例及解析
- Python Multinomial Naive Bayes多項(xiàng)貝葉斯模型實(shí)現(xiàn)原理介紹
相關(guān)文章
python基礎(chǔ)之變量和數(shù)據(jù)類型
這篇文章主要介紹了python的變量和數(shù)據(jù)類型,實(shí)例分析了Python中返回一個返回值與多個返回值的方法,需要的朋友可以參考下2021-10-10python整合ffmpeg實(shí)現(xiàn)視頻文件的批量轉(zhuǎn)換
這篇文章主要為大家詳細(xì)介紹了python整合ffmpeg實(shí)現(xiàn)視頻文件的批量轉(zhuǎn)換,具有一定的參考價值,感興趣的小伙伴們可以參考一下2019-05-05Python利用解析JSON實(shí)現(xiàn)主機(jī)管理
JSON 是一種獨(dú)立于編程語言的數(shù)據(jù)格式,因此在不同的編程語言中都有對應(yīng)的解析器和生成器,本文主要介紹了Python如何通過解析JSON實(shí)現(xiàn)主機(jī)管理,感興趣的小伙伴可以了解一下2023-12-12Python+matplotlib實(shí)現(xiàn)華麗的文本框演示代碼
這篇文章主要介紹了Python+matplotlib實(shí)現(xiàn)華麗的文本框演示代碼,分享了相關(guān)代碼示例,小編覺得還是挺不錯的,具有一定借鑒價值,需要的朋友可以參考下2018-01-01pytorch cuda上tensor的定義 以及減少cpu的操作詳解
這篇文章主要介紹了pytorch cuda上tensor的定義 以及減少cpu的操作詳解,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-06-06淺談tensorflow中dataset.shuffle和dataset.batch dataset.repeat注意點(diǎn)
這篇文章主要介紹了淺談tensorflow中dataset.shuffle和dataset.batch dataset.repeat注意點(diǎn),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-06-06