欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

基于Python代碼實(shí)現(xiàn)Apriori?關(guān)聯(lián)規(guī)則算法

 更新時(shí)間:2022年03月09日 10:13:20   作者:公眾賬號  
這篇文章主要介紹了基于Python代碼實(shí)現(xiàn)Apriori?關(guān)聯(lián)規(guī)則算法,本文通過應(yīng)用場景舉例,結(jié)合示例代碼給大家介紹的非常詳細(xì),需要的朋友可以參考下

一、關(guān)聯(lián)規(guī)則概述

1993年,Agrawal等人在首先提出關(guān)聯(lián)規(guī)則概念,迄今已經(jīng)差不多30年了,在各種算法層出不窮的今天,這算得上是老古董了,比很多人的年紀(jì)還大,往往是數(shù)據(jù)挖掘的入門算法,但深入研究的不多,尤其在風(fēng)控領(lǐng)域,有著極其重要的應(yīng)用潛力,是一個(gè)被低估的算法,很少見到公開的文章提及,我嘗試一一剖析,希望給你帶來一定的啟示。

我倒是進(jìn)行了比較深刻、全面的思考,并進(jìn)行了大量的實(shí)驗(yàn),這個(gè)話題感覺可以聊三天三夜。世界風(fēng)云變幻,但本質(zhì)沒變化,各種關(guān)聯(lián)一直存在,有意或無意的!

比如你女朋友, 低頭玩手指+沉默 ,那大概率生氣了,那這就是你總結(jié)出來的規(guī)則。啤酒與尿布的例子相信很多人都聽說過吧,故事是這樣的:在一家超市中,人們發(fā)現(xiàn)了一個(gè)特別有趣的現(xiàn)象,尿布與啤酒這兩種風(fēng)馬牛不相及的商品居然擺在一起,但這一奇怪的舉措居然使尿布和啤酒的銷量大幅增加了。為什么有這么奇怪現(xiàn)象呢?是因?yàn)槊绹鴭D女在丈夫回家前買尿布,然后丈夫順手買了自己喜歡的啤酒,所以發(fā)生了這么有趣的事情。

很多人只記住了啤酒尿不濕,很少深入思考,我們稍微轉(zhuǎn)換下,日常的事情,也存在非常多的關(guān)聯(lián)規(guī)則?

二、應(yīng)用場景舉例

1、股票漲跌預(yù)測

放量+高換手率 -> 大概率上漲,歷史數(shù)據(jù)挖掘,假如發(fā)現(xiàn)放量+高換手率的股票大概率上漲,則挖掘當(dāng)天滿足條件的個(gè)股,然后第二天買入,躺賺。

2、視頻、音樂、圖書等推薦

根據(jù)歷史數(shù)據(jù),如果大規(guī)模的存在某些用戶看劇列表為:小時(shí)代 -> 上海堡壘,那么一個(gè)新的用戶看了小時(shí)代,馬上就給推薦上海堡壘,那大概率也會(huì)被觀看,呼蘭的賬號,就是這么臟的。

3、打車路線預(yù)測(考慮時(shí)空)

根據(jù)大量的數(shù)據(jù)挖掘出以下規(guī)則

早上: 起點(diǎn)家->目的地公司,

晚上: 起點(diǎn)家->目的高鐵站

周末: 起點(diǎn)家->目的地購物中心

那當(dāng)你每天早上打開軟件的時(shí)候,打車軟件就會(huì)推薦你的公司作為目的地,大大的減少用戶的打車時(shí)間。如下圖,我輸入小區(qū)名稱,馬上給我推薦了三個(gè)地方,杭州東站第一位,因?yàn)槠綍r(shí)的打車這個(gè)組合的支持度最高。

4、風(fēng)控策略自動(dòng)化挖掘

根據(jù)歷史標(biāo)題,總結(jié)出規(guī)律發(fā)現(xiàn)商品標(biāo)題包含 老司機(jī)+百度網(wǎng)盤 -> 色情風(fēng)險(xiǎn)高,那后面遇到這標(biāo)題包含這兩個(gè)詞語的,就直接拒絕了。

根據(jù)歷史行為數(shù)據(jù),發(fā)現(xiàn)了 沉默用戶+非常用地登錄+修改密碼 ->大概率都被盜號了,那一個(gè)新的賬戶滿足這個(gè)三個(gè)條件,那馬上就進(jìn)行賬戶凍結(jié)或者實(shí)人認(rèn)證,就能避免盜號風(fēng)險(xiǎn)的發(fā)生。

根據(jù)歷史數(shù)據(jù),發(fā)現(xiàn)用戶A +B 每天都相隔10s登錄 ,則可以認(rèn)為A、B存在關(guān)聯(lián)關(guān)系,可能是機(jī)器控制的同一批薅羊毛賬戶。

風(fēng)控策略的自動(dòng)化挖掘,這個(gè)也是我們后續(xù)要重點(diǎn)關(guān)注和講解的地方。

三、3個(gè)最重要的概念

關(guān)聯(lián)規(guī)則有三個(gè)核心概念需要理解: 支持度、置信度、提升度 ,下面用最經(jīng)典的啤酒-尿不濕案例給大家舉例說明這三個(gè)概念,假如以下是幾名客戶購買訂單的商品列表:

1、支持度

支持度 (Support): 指某個(gè) 商品組合出現(xiàn)的次數(shù) 與 總訂單數(shù) 之間的比例。

在這個(gè)例子中,我們可以看到“牛奶”出現(xiàn)了 4 次,那么這 5 筆訂單中“牛奶”的支持度就是 4/5=0.8。

同樣“ 牛奶 + 面包 ”出現(xiàn)了 3 次,那么這 5 筆訂單中“牛奶 + 面包”的支持度就是 3/5=0.6

這樣理解起來是不是非常簡單了呢,大家可以動(dòng)動(dòng)手計(jì)算下 '尿不濕+啤酒' 的支持度是多少?

2、置信度

置信度 (Confidence): 指的就是當(dāng)你購買了商品 A,會(huì)有多大的概率購買商品 B,在包含A的子集中,B的支持度,也就是包含B的訂單的比例。

置信度(牛奶→啤酒)= 3/4=0.75,代表購買了牛奶的訂單中,還有多少訂單購買了啤酒,如下面的表格所示。

置信度(啤酒→牛奶)= 3/4=0.75,代表如果你購買了啤酒,有多大的概率會(huì)購買牛奶?

置信度(啤酒→尿不濕)= 4/4=1.0,代表如果你購買了啤酒,有多大的概率會(huì)買尿不濕,下面的表格看出來是100%。

由上面的例子可以看出,置信度其實(shí)就是個(gè)條件概念,就是說在 A 發(fā)生的情況下,B 發(fā)生的概率是多大。如果僅僅知道這兩個(gè)概念,很多情況下還是不夠用,需要用到提升度的概念。比如A出現(xiàn)的情況下B出現(xiàn)的概率為80%,那到底AB是不是有關(guān)系呢,不一定,人家B本來在大盤中的比例95%。你的A出現(xiàn),反而減少了B出現(xiàn)的概率。

3、提升度

提升度 (Lift): 我們在做商品推薦或者風(fēng)控策略的時(shí)候,重點(diǎn)考慮的是提升度,因?yàn)樘嵘却淼氖茿 的出現(xiàn),對B的出現(xiàn)概率提升的程度。

提升度 (A→B) = 置信度 (A→B)/ 支持度 (B)

所以提升度有三種可能:

  • 提升度 (A→B)>1:代表有提升;

  • 提升度 (A→B)=1:代表有沒有提升,也沒有下降;

  • 提升度 (A→B)<1:代表有下降。

提升度 (啤酒→尿不濕) =置信度 (啤酒→尿不濕) /支持度 (尿不濕) = 1.0/0.8 = 1.25,可見啤酒對尿不濕是有提升的,提升度為1.25,大于1。

可以簡單理解為:在全集的情況下,尿不濕的概率為80%,而在包含啤酒這個(gè)子集中,尿不濕的概率為100%,因此,子集的限定,提高了尿不濕的概率,啤酒的出現(xiàn),提高了尿不濕的概率。

4、 頻繁項(xiàng)集

頻繁項(xiàng)集(frequent itemset) : 就是支持度大于等于最小支持度 (Min Support) 閾值的項(xiàng)集,所以小于最小值支持度的項(xiàng)目就是非頻繁項(xiàng)集,而大于等于最小支持度的的項(xiàng)集就是頻繁項(xiàng)集,項(xiàng)集可以是單個(gè)商品,也可以是組合。

頻繁集挖掘面臨的最大難題就是項(xiàng)集的組合爆炸 ,如下圖:

隨著商品數(shù)量增多,這個(gè)網(wǎng)絡(luò)的規(guī)模將變得特別龐大,我們不可能根據(jù)傳統(tǒng)方法進(jìn)行統(tǒng)計(jì)和計(jì)算,為了解決這個(gè)問題,Apriori算法提出了兩個(gè)核心思想:

某個(gè)項(xiàng)集是頻繁的,那么它的所有子集也是頻繁的 {Milk, Bread, Coke} 是頻繁的 → {Milk, Coke} 是頻繁的

如果一個(gè)項(xiàng)集是 非頻繁項(xiàng)集,那么它的所有超集也是非頻繁項(xiàng)集 {Battery} 是非頻繁的 → {Milk, Battery} 也非平凡

如下圖,如果我們已知 B 不頻繁,那么可以說圖中所有綠色的項(xiàng)集都不頻繁,搜索時(shí)就要這些項(xiàng)避開,減少計(jì)算開銷。

同理,如果下圖所示, {A,B}這個(gè)項(xiàng)集是非頻繁的 ,那虛線框后面的都不用計(jì)算了, 運(yùn)用Apriori算法的思想,我們就能去掉很多非頻繁的項(xiàng)集,大大簡化計(jì)算量,當(dāng)然,面對大規(guī)模數(shù)據(jù)的時(shí)候,這種排除還是解決不了問題,于是還有FP-Growth(Frequent pattern Growth,頻繁模式增長樹)這種更高效的方法,后面有機(jī)會(huì)慢慢講。

需要注意的是:

1)如果支持度和置信度閾值過高,雖然可以在一定程度上減少數(shù)據(jù)挖掘的時(shí)間,但是一些隱含在數(shù)據(jù)中的非頻繁特征項(xiàng)容易被忽略掉,難以發(fā)現(xiàn)足夠有用的規(guī)則;

2)如果支持度和置信度閾值過低,可能會(huì)導(dǎo)致大量冗余和無效的規(guī)則產(chǎn)生,導(dǎo)致較大計(jì)算量負(fù)荷。

四、Python算法介紹

這里用的是Python舉例,用的包是apriori,當(dāng)然R語言等其他語言,也有對應(yīng)的算法包,原理都是一樣的,大家自行進(jìn)行試驗(yàn)。

#包安裝?我們使用efficient-apriori,python中也可以利用apyori庫和mlxtend庫
pip install efficient-apriori
 
#加載包
from efficient_apriori import apriori
‘'‘
apriori(transactions: typing.Iterable[typing.Union[set, tuple, list]], 
        min_support: float=0.5, 
        min_confidence: float=0.5, 
        max_length: int=8, 
        verbosity: int=0, 
        output_transaction_ids: bool=False)
上面就是這個(gè)函數(shù)的參數(shù)
min_support:最小支持度
min_confidence:最小置信度
max_length:項(xiàng)集長度
# 構(gòu)造數(shù)據(jù)集
data = [('牛奶','面包','尿不濕','啤酒','榴蓮'),
        ('可樂','面包','尿不濕','啤酒','牛仔褲'),
        ('牛奶','尿不濕','啤酒','雞蛋','咖啡'),
        ('面包','牛奶','尿不濕','啤酒','睡衣'),
        ('面包','牛奶','尿不濕','可樂','雞翅')]
#挖掘頻繁項(xiàng)集和頻繁規(guī)則
itemsets, rules = apriori(data, min_support=0.6,  min_confidence=1)
#頻繁項(xiàng)集
print(itemsets)
{1: {('啤酒',): 4, ('尿不濕',): 5, ('牛奶',): 4, ('面包',): 4}, 
2:?{('啤酒',?'尿不濕'):?4,?('啤酒',?'牛奶'):?3,?('啤酒',?'面包'):?3,?('尿不濕',?'牛奶'):?4,?('尿不濕',?'面包'):?4,?('牛奶',?'面包'):?3},?
3:?{('啤酒',?'尿不濕',?'牛奶'):?3,?('啤酒',?'尿不濕',?'面包'):?3,?('尿不濕',?'牛奶',?'面包'):?3}}
itemsets[1] #滿足條件的一元組合
{('啤酒',): 4, ('尿不濕',): 5, ('牛奶',): 4, ('面包',): 4}
itemsets[2]#滿足條件的二元組合
{('啤酒', '尿不濕'): 4,('啤酒', '牛奶'): 3,('啤酒', '面包'): 3,('尿不濕', '牛奶'): 4,('尿不濕', '面包'): 4,('牛奶', '面包'): 3}
itemsets[3]#滿足條件的三元組合
{('啤酒', '尿不濕', '牛奶'): 3, ('啤酒', '尿不濕', '面包'): 3, ('尿不濕', '牛奶', '面包'): 3}
#頻繁規(guī)則
print(rules)
[{啤酒} -> {尿不濕}, {牛奶} -> {尿不濕}, 
{面包} -> {尿不濕}, {啤酒, 牛奶} -> {尿不濕}, 
{啤酒, 面包} -> {尿不濕}, {牛奶, 面包} -> {尿不濕}]
#我們把max_length=2這個(gè)參數(shù)加進(jìn)去看看
itemsets, rules = apriori(data, min_support=0.6,
min_confidence=0.5,
max_length=2)
{1: {('牛奶',): 4, ('面包',): 4, ('尿不濕',): 5, ('啤酒',): 4, ('R',): 4}, 
2: {('R', '啤酒'): 4, ('R', '尿不濕'): 4, ('R', '牛奶'): 3, ('R', '面包'): 3, ('啤酒', '尿不濕'): 4, ('啤酒', '牛奶'): 3, ('啤酒', '面包'): 3, ('尿不濕', '牛奶'): 4, ('尿不濕', '面包'): 4, ('牛奶', '面包'): 3}}
#通過這個(gè)數(shù)據(jù)我們可以看到,項(xiàng)集的長度只包含有兩個(gè)項(xiàng)了

五、挖掘?qū)嵗?/h2>

每個(gè)導(dǎo)演都有自己的偏好、比如周星馳有星女郎,張藝謀有謀女郎,且鞏俐經(jīng)常在張藝謀的電影里面出現(xiàn),因此,每個(gè)導(dǎo)演對演員的選擇都有一定的偏愛,我們以寧浩導(dǎo)演為例,分析下選擇演員的一些偏好,沒有找到公開的數(shù)據(jù)集,自己手動(dòng)扒了一部分,大概如下,有些實(shí)在有點(diǎn)多,于是簡化下進(jìn)行分析。

可以看到,我們一共扒了9部電影,計(jì)算的時(shí)候,支持度的時(shí)候,總數(shù)就是9.

#把電影數(shù)據(jù)轉(zhuǎn)換成列表 
data = [['葛優(yōu)','黃渤','范偉','鄧超','沈騰','張占義','王寶強(qiáng)','徐崢','閆妮','馬麗'], 
['黃渤','張譯','韓昊霖','杜江','葛優(yōu)','劉昊然','宋佳','王千源','任素汐','吳京'], 
['郭濤','劉樺','連晉','黃渤','徐崢','優(yōu)恵','羅蘭','王迅'], 
['黃渤','舒淇','王寶強(qiáng)','張藝興','于和偉','王迅','李勤勤','李又麟','寧浩','管虎','梁靜','徐崢','陳德森','張磊'], 
['黃渤','沈騰','湯姆·派福瑞','馬修·莫里森','徐崢','于和偉','雷佳音','劉樺','鄧飛','蔡明凱','王戈','凱特·納爾遜','王硯偉','呲路'],
 ['徐崢','黃渤','余男','多布杰','王雙寶','巴多','楊新鳴','郭虹','陶虹','黃精一','趙虎','王輝'], 
 ['黃渤','戎祥','九孔','徐崢','王雙寶','巴多','董立范','高捷','馬少驊','王迅','劉剛','WorapojThuantanon','趙奔','李麒麟','姜志剛','王鷺','寧浩'], 
 ['黃渤','徐崢','袁泉','周冬雨','陶慧','岳小軍','沈騰','張儷','馬蘇','劉美含','王硯輝','焦俊艷','郭濤'], 
 ['雷佳音','陶虹','程媛媛','山崎敬一','郭濤','范偉','孫淳','劉樺','黃渤','岳小軍','傅亨','王文','楊新鳴']] 
#算法應(yīng)用 
itemsets, rules = apriori(data, min_support=0.5,  min_confidence=1) 
print(itemsets)
{1: {('徐崢',): 7, ('黃渤',): 9}, 2: {('徐崢', '黃渤'): 7}} 
print(rules) [{徐崢} -> {黃渤}]

通過上述分析可以看出:

在寧浩的電影中,用的最多的是黃渤和徐崢,黃渤9次,支持度100%,徐崢7次,支持度78%,('徐崢', '黃渤') 同時(shí)出現(xiàn)7次,置信度為100%,看來有徐崢,必有黃渤,真是寧浩必請的黃金搭檔,且是一對好基友。

當(dāng)然,這個(gè)數(shù)據(jù)量比較小,我們基本上肉眼也能看出來,這里只是提供一個(gè)分析案例和基礎(chǔ)方法,鞏固下基礎(chǔ)知識,算是開胃菜,大規(guī)模的數(shù)據(jù),人眼無法直接感知的時(shí)候,算法的挖掘與發(fā)現(xiàn),就顯得特別有意義了,后續(xù)會(huì)陸續(xù)推出相應(yīng)的文章。

到此這篇關(guān)于基于Python代碼實(shí)現(xiàn)Apriori 關(guān)聯(lián)規(guī)則算法的文章就介紹到這了,更多相關(guān)python關(guān)聯(lián)規(guī)則算法內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • Python開發(fā)WebService系列教程之REST,web.py,eurasia,Django

    Python開發(fā)WebService系列教程之REST,web.py,eurasia,Django

    對于今天的WebService開發(fā),我們至少有兩種選擇:SOAP/WSDL/UDDI系列的; REST風(fēng)格架構(gòu)系列的 ?。。?/div> 2014-06-06
  • Python基礎(chǔ)學(xué)習(xí)之認(rèn)識線程

    Python基礎(chǔ)學(xué)習(xí)之認(rèn)識線程

    這篇文章主要介紹了Python線程,這篇開始我們將進(jìn)入中級編程。處理更加復(fù)雜事情。比如本文的線程,咱們先從基礎(chǔ)知識入手,需要的朋友可以參考下下面文章的詳細(xì)內(nèi)容
    2022-02-02
  • python 消費(fèi) kafka 數(shù)據(jù)教程

    python 消費(fèi) kafka 數(shù)據(jù)教程

    今天小編就為大家分享一篇python 消費(fèi) kafka 數(shù)據(jù)教程,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2019-12-12
  • python GUI實(shí)現(xiàn)小球滿屏亂跑效果

    python GUI實(shí)現(xiàn)小球滿屏亂跑效果

    這篇文章主要為大家詳細(xì)介紹了python GUI實(shí)現(xiàn)小球滿屏亂跑效果,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2019-05-05
  • 使用Python的web.py框架實(shí)現(xiàn)類似Django的ORM查詢的教程

    使用Python的web.py框架實(shí)現(xiàn)類似Django的ORM查詢的教程

    這篇文章主要介紹了使用Python的web.py框架實(shí)現(xiàn)類似Django的ORM查詢的教程,集成的ORM操作數(shù)據(jù)庫向來是Python最強(qiáng)大的功能之一,本文則探討如何在web.py框架上實(shí)現(xiàn),需要的朋友可以參考下
    2015-05-05
  • python不換行之end=與逗號的意思及用途

    python不換行之end=與逗號的意思及用途

    在python中我們偶爾會(huì)用到輸出不換行的效果,python2中使用逗號,即可,而python3中使用end=''來實(shí)現(xiàn)的,這里簡單為大家介紹一下,需要的朋友可以參考下
    2017-11-11
  • Python?數(shù)據(jù)類型中的字符串和數(shù)字

    Python?數(shù)據(jù)類型中的字符串和數(shù)字

    這篇文章主要介紹了Python?數(shù)據(jù)類型中的字符串和數(shù)字,Python3中有六個(gè)標(biāo)準(zhǔn)的數(shù)據(jù)類型,Number、String、List、Tuple、Set、Dictionary,加先來我們就來看看這幾種數(shù)據(jù)類型的具體相關(guān)介紹,需要的小伙伴可以參考一下
    2022-02-02
  • pandas groupby + unstack的使用說明

    pandas groupby + unstack的使用說明

    這篇文章主要介紹了pandas groupby + unstack的使用說明,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2021-03-03
  • 詳解Django自定義圖片和文件上傳路徑(upload_to)的2種方式

    詳解Django自定義圖片和文件上傳路徑(upload_to)的2種方式

    這篇文章主要介紹了詳解Django自定義圖片和文件上傳路徑(upload_to)的2種方式,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2020-12-12
  • 淺析PEP570新語法: 只接受位置參數(shù)

    淺析PEP570新語法: 只接受位置參數(shù)

    本文通過一個(gè)例子給大家介紹了PEP570新語法: 只接受位置參數(shù)的一些知識,感興趣的朋友跟隨小編一起看看吧
    2019-10-10

最新評論