Python實現(xiàn)計算AUC的示例代碼
AUC(Area under curve)是機器學(xué)習(xí)常用的二分類評測手段,直接含義是ROC曲線下的面積,如下圖:
要理解這張圖的含義,得先理解下面這個表:
表中列代表預(yù)測分類,行代表實際分類:
- 實際1,預(yù)測1:真正類(tp)
- 實際1,預(yù)測0:假負(fù)類(fn)
- 實際0,預(yù)測1:假正類(fp)
- 實際0,預(yù)測0:真負(fù)類(tn)
- 真實負(fù)樣本總數(shù)=n=fp+tn
- 真實正樣本總數(shù)=p=tp+fn
在第一張圖中,
橫坐標(biāo)false positive rate 代表假正類率,由fp/n計算得到,
意為 在實際負(fù)樣本中出現(xiàn)預(yù)測正樣本的概率。
縱坐標(biāo)true positive rate 代表真正類率,由tp/p計算得到,
意為 在實際正樣本中出現(xiàn)預(yù)測正樣本的概率。
為什么這樣一個指標(biāo)可以衡量分類效果
先來看看如何得到這條曲線:
1. 通過分類器得到每個樣本的預(yù)測概率,對其從高到低進(jìn)行排序
2. 從高到低,分別以每一個預(yù)測概率作為閾值,大于該閾值的認(rèn)定其為1,小于的為0,計算fp rate和tp rate。
對于一個有分類效果(效果比隨機要好)的分類器,剛開始將高概率作為閾值時,閾值以上的真正樣本占全部正樣本的比例(tp rate)>閾值以上的假正樣本占全部負(fù)樣本的比例(fp rate)。
auc理解
auc就是:隨機抽出一對樣本(一個正樣本,一個負(fù)樣本),然后用訓(xùn)練得到的分類器來對這兩個樣本進(jìn)行預(yù)測,預(yù)測得到正樣本的概率大于負(fù)樣本概率的概率。
AUC計算
方法一
在有M個正樣本,N個負(fù)樣本的數(shù)據(jù)集里。一共有M*N對樣本(一對樣本即,一個正樣本與一個負(fù)樣本)。統(tǒng)計這M*N對樣本里,正樣本的預(yù)測概率大于負(fù)樣本的預(yù)測概率的個數(shù)。
舉個例子:
假設(shè)有4條樣本。2個正樣本,2個負(fù)樣本,那么M*N=4。
即總共有4個樣本對。分別是:
(D,B),(D,A),(C,B),(C,A)。
在(D,B)樣本對中,正樣本D預(yù)測的概率大于負(fù)樣本B預(yù)測的概率(也就是D的得分比B高),記為1
同理,對于(C,B)。正樣本C預(yù)測的概率小于負(fù)樣本C預(yù)測的概率,記為0.
那么auc如下:
假如出現(xiàn)得分一致的時候:
同樣本是4個樣本對,對于樣本對(C,B)其I值為0.5。
方法二
利公式:
● 對預(yù)測概率從高到低排序
● 對每一個概率值設(shè)一個rank值(最高的概率的rank為n,第二高的為n-1)
● rank實際上代表了該score(預(yù)測概率)超過的樣本的數(shù)目
為了求的組合中正樣本的score值大于負(fù)樣本,如果所有的正樣本score值都是大于負(fù)樣本的,那么第一位與任意的進(jìn)行組合score值都要大,我們?nèi)∷膔ank值為n,但是n-1中有M-1是正樣例和正樣例的組合這種是不在統(tǒng)計范圍內(nèi)的(為計算方便我們?nèi)組,相應(yīng)的不符合的有M個),所以要減掉,那么同理排在第二位的n-1,會有M-1個是不滿足的,依次類推,故得到后面的公式M*(M+1)/2,我們可以驗證在正樣本score都大于負(fù)樣本的假設(shè)下,AUC的值為1
● 除以M*N
舉例說明:
排序。按概率排序后得到:
按照上面的公式,只把正樣本的序號加起來也就是只把樣本C,D的rank值加起來后減去一個常數(shù)項:
得到:
如果出現(xiàn)得分一樣的情況:
假如有4個取值概率為0.5,而且既有正樣本也有負(fù)樣本的情況。計算的時候,其實原則就是相等得分的rank取平均值。具體來說如下:
先排序:
這里需要注意的是:相等概率得分的樣本,無論正負(fù),誰在前,誰在后無所謂。
由于只考慮正樣本的rank值:
對于正樣本A,其rank值為7
對于正樣本B,其rank值為6
對于正樣本E,其rank值為(5+4+3+2)/4
對于正樣本F,其rank值為(5+4+3+2)/4
實現(xiàn)及驗證
采用sklearn中的庫函數(shù)驗證:
import numpy as np from sklearn.metrics import roc_curve from sklearn.metrics import auc #---自己按照公式實現(xiàn) def auc_calculate(labels,preds,n_bins=100): postive_len = sum(labels) negative_len = len(labels) - postive_len total_case = postive_len * negative_len pos_histogram = [0 for _ in range(n_bins)] neg_histogram = [0 for _ in range(n_bins)] bin_width = 1.0 / n_bins for i in range(len(labels)): nth_bin = int(preds[i]/bin_width) if labels[i]==1: pos_histogram[nth_bin] += 1 else: neg_histogram[nth_bin] += 1 accumulated_neg = 0 satisfied_pair = 0 for i in range(n_bins): satisfied_pair += (pos_histogram[i]*accumulated_neg + pos_histogram[i]*neg_histogram[i]*0.5) accumulated_neg += neg_histogram[i] return satisfied_pair / float(total_case) if __name__ == '__main__': y = np.array([1,0,0,0,1,0,1,0,]) pred = np.array([0.9, 0.8, 0.3, 0.1,0.4,0.9,0.66,0.7]) fpr, tpr, thresholds = roc_curve(y, pred, pos_label=1) print("-----sklearn:",auc(fpr, tpr)) print("-----py腳本:",auc_calculate(y,pred))
AUC的優(yōu)點:
它不受類別不平衡問題的影響,不同的樣本比例不會影響AUC的評測結(jié)果。在訓(xùn)練時,可以直接使用AUC作為損失函數(shù)。
到此這篇關(guān)于Python實現(xiàn)計算AUC的示例代碼的文章就介紹到這了,更多相關(guān)Python計算AUC內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
python文件轉(zhuǎn)為exe文件的方法及用法詳解
py2exe是一個將python腳本轉(zhuǎn)換成windows上的可獨立執(zhí)行的可執(zhí)行程序(*.exe)的工具,這樣,你就可以不用裝python而在windows系統(tǒng)上運行這個可執(zhí)行程序。本文重點給大家介紹python文件轉(zhuǎn)為exe文件的方法,感興趣的朋友跟隨小編一起看看吧2019-07-07python獲取當(dāng)前運行函數(shù)名稱的方法實例代碼
這篇文章主要介紹了python獲取當(dāng)前運行函數(shù)名稱的方法實例代碼的相關(guān)資料,需要的朋友可以參考下2017-04-04Python實現(xiàn)字典排序、按照list中字典的某個key排序的方法示例
這篇文章主要介紹了Python實現(xiàn)字典排序、按照list中字典的某個key排序的方法,涉及Python字典與列表排序相關(guān)操作技巧,需要的朋友可以參考下2018-12-12解決Mac下首次安裝pycharm無project interpreter的問題
今天小編就為大家分享一篇解決Mac下首次安裝pycharm無project interpreter的問題,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-10-10Python中optionParser模塊的使用方法實例教程
這篇文章主要介紹了Python中optionParser模塊的使用方法,功能非常強大,需要的朋友可以參考下2014-08-08