樸素貝葉斯分類算法原理與Python實現(xiàn)與使用方法案例
本文實例講述了樸素貝葉斯分類算法原理與Python實現(xiàn)與使用方法。分享給大家供大家參考,具體如下:
樸素貝葉斯分類算法
1、樸素貝葉斯分類算法原理
1.1、概述
貝葉斯分類算法是一大類分類算法的總稱
貝葉斯分類算法以樣本可能屬于某類的概率來作為分類依據(jù)
樸素貝葉斯分類算法是貝葉斯分類算法中最簡單的一種
注:樸素的意思是條件概率獨立性
P(A|x1x2x3x4)=p(A|x1)*p(A|x2)p(A|x3)p(A|x4)則為條件概率獨立
P(xy|z)=p(xyz)/p(z)=p(xz)/p(z)*p(yz)/p(z)
1.2、算法思想
樸素貝葉斯的思想是這樣的:
如果一個事物在一些屬性條件發(fā)生的情況下,事物屬于A的概率>屬于B的概率,則判定事物屬于A
通俗來說比如,你在街上看到一個黑人,我讓你猜這哥們哪里來的,你十有八九猜非洲。為什么呢?
在你的腦海中,有這么一個判斷流程:
①、這個人的膚色是黑色 <特征>
②、黑色人種是非洲人的概率最高 <條件概率:黑色條件下是非洲人的概率>
③、沒有其他輔助信息的情況下,最好的判斷就是非洲人
這就是樸素貝葉斯的思想基礎。
再擴展一下,假如在街上看到一個黑人講英語,那我們是怎么去判斷他來自于哪里?
提取特征:
膚色: 黑
語言: 英語
黑色人種來自非洲的概率: 80%
黑色人種來自于美國的概率:20%
講英語的人來自于非洲的概率:10%
講英語的人來自于美國的概率:90%
在我們的自然思維方式中,就會這樣判斷:
這個人來自非洲的概率:80% * 10% = 0.08
這個人來自美國的概率:20% * 90% =0.18
我們的判斷結(jié)果就是:此人來自美國!
其蘊含的數(shù)學原理如下:
p(A|xy)=p(Axy)/p(xy)=p(Axy)/p(x)p(y)=p(A)/p(x)*p(A)/p(y)* p(xy)/p(xy)=p(A|x)p(A|y)
P(類別 | 特征)=P(特征 | 類別)*P(類別) / P(特征)
1.3、算法步驟
①、分解各類先驗樣本數(shù)據(jù)中的特征
②、計算各類數(shù)據(jù)中,各特征的條件概率
(比如:特征1出現(xiàn)的情況下,屬于A類的概率p(A|特征1),屬于B類的概率p(B|特征1),屬于C類的概率p(C|特征1)......)
③、分解待分類數(shù)據(jù)中的特征(特征1、特征2、特征3、特征4......)
④、計算各特征的各條件概率的乘積,如下所示:
判斷為A類的概率:p(A|特征1)*p(A|特征2)*p(A|特征3)*p(A|特征4).....
判斷為B類的概率:p(B|特征1)*p(B|特征2)*p(B|特征3)*p(B|特征4).....
判斷為C類的概率:p(C|特征1)*p(C|特征2)*p(C|特征3)*p(C|特征4).....
......
⑤、結(jié)果中的最大值就是該樣本所屬的類別
1.4、算法應用舉例
大眾點評、淘寶等電商上都會有大量的用戶評論,比如:
1、衣服質(zhì)量太差了?。。?!顏色根本不純?。?! | 0 |
2、我有一有種上當受騙的感覺!?。?! | 0 |
3、質(zhì)量太差,衣服拿到手感覺像舊貨!??! | 0 |
4、上身漂亮,合身,很帥,給賣家點贊 | 1 |
5、穿上衣服帥呆了,給點一萬個贊 | 1 |
6、我在他家買了三件衣服?。。?!質(zhì)量都很差! | 0 |
其中1/2/3/6是差評,4/5是好評
現(xiàn)在需要使用樸素貝葉斯分類算法來自動分類其他的評論,比如:
a、這么差的衣服以后再也不買了
b、帥,有逼格
……
1.5、算法應用流程
①、分解出先驗數(shù)據(jù)中的各特征
(即分詞,比如“衣服”“質(zhì)量太差”“差”“不純”“帥”“漂亮”,“贊”……)
②、計算各類別(好評、差評)中,各特征的條件概率
(比如 p(“衣服”|差評)、p(“衣服”|好評)、p(“差”|好評) 、p(“差”|差評)……)
③、分解出待分類樣本的各特征
(比如分解a: “差” “衣服” ……)
④、計算類別概率
P(好評) = p(好評|“差”) *p(好評|“衣服”)*……
P(差評) = p(差評|“差”) *p(差評|“衣服”)*……
⑤、顯然P(差評)的結(jié)果值更大,因此a被判別為“差評”
1.6、樸素貝葉斯分類算法案例
大體計算方法:
P(好評 | 單詞1,單詞2,單詞3) = P(單詞1,單詞2,單詞3 | 好評) * P(好評) / P(單詞1,單詞2,單詞3)
因為分母都相同,所以只用比較分子即可--->P(單詞1,單詞2,單詞3 | 好評) P(好評)
每個單詞之間都是相互獨立的---->P(單詞1 | 好評)P(單詞2 | 好評)P(單詞3 | 好評)*P(好評)
P(單詞1 | 好評) = 單詞1在樣本好評中出現(xiàn)的總次數(shù)/樣本好評句子中總的單詞數(shù)
P(好評) = 樣本好評的條數(shù)/樣本的總條數(shù)
同理:
P(差評 | 單詞1,單詞2,單詞3) = P(單詞1,單詞2,單詞3 | 差評) * P(差評) / P(單詞1,單詞2,單詞3)
因為分母都相同,所以只用比較分子即可--->P(單詞1,單詞2,單詞3 | 差評) P(差評)
每個單詞之間都是相互獨立的---->P(單詞1 | 差評)P(單詞2 | 差評)P(單詞3 | 差評)*P(差評)
2、 Python案例
#!/usr/bin/python # coding=utf-8 from numpy import * # 過濾網(wǎng)站的惡意留言 侮辱性:1 非侮辱性:0 # 創(chuàng)建一個實驗樣本 def loadDataSet(): postingList = [['my','dog','has','flea','problems','help','please'], ['maybe','not','take','him','to','dog','park','stupid'], ['my','dalmation','is','so','cute','I','love','him'], ['stop','posting','stupid','worthless','garbage'], ['mr','licks','ate','my','steak','how','to','stop','him'], ['quit','buying','worthless','dog','food','stupid']] classVec = [0,1,0,1,0,1] return postingList, classVec # 創(chuàng)建一個包含在所有文檔中出現(xiàn)的不重復詞的列表 def createVocabList(dataSet): vocabSet = set([]) # 創(chuàng)建一個空集 for document in dataSet: vocabSet = vocabSet | set(document) # 創(chuàng)建兩個集合的并集 return list(vocabSet) # 將文檔詞條轉(zhuǎn)換成詞向量 def setOfWords2Vec(vocabList, inputSet): returnVec = [0]*len(vocabList) # 創(chuàng)建一個其中所含元素都為0的向量 for word in inputSet: if word in vocabList: # returnVec[vocabList.index(word)] = 1 # index函數(shù)在字符串里找到字符第一次出現(xiàn)的位置 詞集模型 returnVec[vocabList.index(word)] += 1 # 文檔的詞袋模型 每個單詞可以出現(xiàn)多次 else: print "the word: %s is not in my Vocabulary!" % word return returnVec # 樸素貝葉斯分類器訓練函數(shù) 從詞向量計算概率 def trainNB0(trainMatrix, trainCategory): numTrainDocs = len(trainMatrix) numWords = len(trainMatrix[0]) pAbusive = sum(trainCategory)/float(numTrainDocs) # p0Num = zeros(numWords); p1Num = zeros(numWords) # p0Denom = 0.0; p1Denom = 0.0 p0Num = ones(numWords); # 避免一個概率值為0,最后的乘積也為0 p1Num = ones(numWords); # 用來統(tǒng)計兩類數(shù)據(jù)中,各詞的詞頻 p0Denom = 2.0; # 用于統(tǒng)計0類中的總數(shù) p1Denom = 2.0 # 用于統(tǒng)計1類中的總數(shù) for i in range(numTrainDocs): if trainCategory[i] == 1: p1Num += trainMatrix[i] p1Denom += sum(trainMatrix[i]) else: p0Num += trainMatrix[i] p0Denom += sum(trainMatrix[i]) # p1Vect = p1Num / p1Denom # p0Vect = p0Num / p0Denom p1Vect = log(p1Num / p1Denom) # 在類1中,每個次的發(fā)生概率 p0Vect = log(p0Num / p0Denom) # 避免下溢出或者浮點數(shù)舍入導致的錯誤 下溢出是由太多很小的數(shù)相乘得到的 return p0Vect, p1Vect, pAbusive # 樸素貝葉斯分類器 def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1): p1 = sum(vec2Classify*p1Vec) + log(pClass1) p0 = sum(vec2Classify*p0Vec) + log(1.0-pClass1) if p1 > p0: return 1 else: return 0 def testingNB(): listOPosts, listClasses = loadDataSet() myVocabList = createVocabList(listOPosts) trainMat = [] for postinDoc in listOPosts: trainMat.append(setOfWords2Vec(myVocabList, postinDoc)) p0V, p1V, pAb = trainNB0(array(trainMat), array(listClasses)) testEntry = ['love','my','dalmation'] thisDoc = array(setOfWords2Vec(myVocabList, testEntry)) print testEntry, 'classified as: ', classifyNB(thisDoc, p0V, p1V, pAb) testEntry = ['stupid','garbage'] thisDoc = array(setOfWords2Vec(myVocabList, testEntry)) print testEntry, 'classified as: ', classifyNB(thisDoc, p0V, p1V, pAb) # 調(diào)用測試方法---------------------------------------------------------------------- testingNB()
運行結(jié)果:
更多關于Python相關內(nèi)容感興趣的讀者可查看本站專題:《Python數(shù)學運算技巧總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》
希望本文所述對大家Python程序設計有所幫助。
相關文章
Pandas DataFrame轉(zhuǎn)換為字典的方法
實際開發(fā)中我們可能會遇到一類問題,如何將Pandas DataFrame轉(zhuǎn)換為字典,本文就來介紹一下,感興趣的可以了解一下2021-05-05python安裝和pycharm環(huán)境搭建設置方法
這篇文章主要介紹了python安裝和pycharm環(huán)境搭建和設置方法,本文通過圖文并茂的形式給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下 ,2020-05-05Python 將代碼轉(zhuǎn)換為可執(zhí)行文件脫離python環(huán)境運行(步驟詳解)
這篇文章主要介紹了Python 將代碼轉(zhuǎn)換為可執(zhí)行文件脫離python環(huán)境運行(步驟詳解),本文給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下2021-01-01