欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

TF-IDF與余弦相似性的應(yīng)用(一) 自動(dòng)提取關(guān)鍵詞

 更新時(shí)間:2017年12月21日 09:09:16   作者:阮一峰  
這篇文章主要為大家詳細(xì)介紹了TF-IDF與余弦相似性的應(yīng)用,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下

TF-IDF與余弦相似性的應(yīng)用(一):自動(dòng)提取關(guān)鍵詞

這個(gè)標(biāo)題看上去好像很復(fù)雜,其實(shí)我要談的是一個(gè)很簡(jiǎn)單的問(wèn)題。

有一篇很長(zhǎng)的文章,我要用計(jì)算機(jī)提取它的關(guān)鍵詞(Automatic Keyphrase extraction),完全不加以人工干預(yù),請(qǐng)問(wèn)怎樣才能正確做到?

這個(gè)問(wèn)題涉及到數(shù)據(jù)挖掘、文本處理、信息檢索等很多計(jì)算機(jī)前沿領(lǐng)域,但是出乎意料的是,有一個(gè)非常簡(jiǎn)單的經(jīng)典算法,可以給出令人相當(dāng)滿意的結(jié)果。它簡(jiǎn)單到都不需要高等數(shù)學(xué),普通人只用10分鐘就可以理解,這就是我今天想要介紹的TF-IDF算法。

讓我們從一個(gè)實(shí)例開(kāi)始講起。假定現(xiàn)在有一篇長(zhǎng)文《中國(guó)的蜜蜂養(yǎng)殖》,我們準(zhǔn)備用計(jì)算機(jī)提取它的關(guān)鍵詞。

一個(gè)容易想到的思路,就是找到出現(xiàn)次數(shù)最多的詞。如果某個(gè)詞很重要,它應(yīng)該在這篇文章中多次出現(xiàn)。于是,我們進(jìn)行"詞頻"(Term Frequency,縮寫為TF)統(tǒng)計(jì)。

結(jié)果你肯定猜到了,出現(xiàn)次數(shù)最多的詞是----"的"、"是"、"在"----這一類最常用的詞。它們叫做(stop words),表示對(duì)找到結(jié)果毫無(wú)幫助、必須過(guò)濾掉的詞。

假設(shè)我們把它們都過(guò)濾掉了,只考慮剩下的有實(shí)際意義的詞。這樣又會(huì)遇到了另一個(gè)問(wèn)題,我們可能發(fā)現(xiàn)"中國(guó)"、"蜜蜂"、"養(yǎng)殖"這三個(gè)詞的出現(xiàn)次數(shù)一樣多。這是不是意味著,作為關(guān)鍵詞,它們的重要性是一樣的?

顯然不是這樣。因?yàn)?中國(guó)"是很常見(jiàn)的詞,相對(duì)而言,"蜜蜂"和"養(yǎng)殖"不那么常見(jiàn)。如果這三個(gè)詞在一篇文章的出現(xiàn)次數(shù)一樣多,有理由認(rèn)為,"蜜蜂"和"養(yǎng)殖"的重要程度要大于"中國(guó)",也就是說(shuō),在關(guān)鍵詞排序上面,"蜜蜂"和"養(yǎng)殖"應(yīng)該排在"中國(guó)"的前面。

所以,我們需要一個(gè)重要性調(diào)整系數(shù),衡量一個(gè)詞是不是常見(jiàn)詞。如果某個(gè)詞比較少見(jiàn),但是它在這篇文章中多次出現(xiàn),那么它很可能就反映了這篇文章的特性,正是我們所需要的關(guān)鍵詞。

用統(tǒng)計(jì)學(xué)語(yǔ)言表達(dá),就是在詞頻的基礎(chǔ)上,要對(duì)每個(gè)詞分配一個(gè)"重要性"權(quán)重。最常見(jiàn)的詞("的"、"是"、"在")給予最小的權(quán)重,較常見(jiàn)的詞("中國(guó)")給予較小的權(quán)重,較少見(jiàn)的詞("蜜蜂"、"養(yǎng)殖")給予較大的權(quán)重。這個(gè)權(quán)重叫做"逆文檔頻率"(Inverse Document Frequency,縮寫為IDF),它的大小與一個(gè)詞的常見(jiàn)程度成反比。

知道了"詞頻"(TF)和"逆文檔頻率"(IDF)以后,將這兩個(gè)值相乘,就得到了一個(gè)詞的TF-IDF值。某個(gè)詞對(duì)文章的重要性越高,它的TF-IDF值就越大。所以,排在最前面的幾個(gè)詞,就是這篇文章的關(guān)鍵詞。

下面就是這個(gè)算法的細(xì)節(jié)。

第一步,計(jì)算詞頻。

考慮到文章有長(zhǎng)短之分,為了便于不同文章的比較,進(jìn)行"詞頻"標(biāo)準(zhǔn)化。

或者

第二步,計(jì)算逆文檔頻率。

這時(shí),需要一個(gè)語(yǔ)料庫(kù)(corpus),用來(lái)模擬語(yǔ)言的使用環(huán)境。

如果一個(gè)詞越常見(jiàn),那么分母就越大,逆文檔頻率就越小越接近0。分母之所以要加1,是為了避免分母為0(即所有文檔都不包含該詞)。log表示對(duì)得到的值取對(duì)數(shù)。

第三步,計(jì)算TF-IDF。

可以看到,TF-IDF與一個(gè)詞在文檔中的出現(xiàn)次數(shù)成正比,與該詞在整個(gè)語(yǔ)言中的出現(xiàn)次數(shù)成反比。所以,自動(dòng)提取關(guān)鍵詞的算法就很清楚了,就是計(jì)算出文檔的每個(gè)詞的TF-IDF值,然后按降序排列,取排在最前面的幾個(gè)詞。

還是以《中國(guó)的蜜蜂養(yǎng)殖》為例,假定該文長(zhǎng)度為1000個(gè)詞,"中國(guó)"、"蜜蜂"、"養(yǎng)殖"各出現(xiàn)20次,則這三個(gè)詞的"詞頻"(TF)都為0.02。然后,搜索Google發(fā)現(xiàn),包含"的"字的網(wǎng)頁(yè)共有250億張,假定這就是中文網(wǎng)頁(yè)總數(shù)。包含"中國(guó)"的網(wǎng)頁(yè)共有62.3億張,包含"蜜蜂"的網(wǎng)頁(yè)為0.484億張,包含"養(yǎng)殖"的網(wǎng)頁(yè)為0.973億張。則它們的逆文檔頻率(IDF)和TF-IDF如下:

從上表可見(jiàn),"蜜蜂"的TF-IDF值最高,"養(yǎng)殖"其次,"中國(guó)"最低。(如果還計(jì)算"的"字的TF-IDF,那將是一個(gè)極其接近0的值。)所以,如果只選擇一個(gè)詞,"蜜蜂"就是這篇文章的關(guān)鍵詞。

除了自動(dòng)提取關(guān)鍵詞,TF-IDF算法還可以用于許多別的地方。比如,信息檢索時(shí),對(duì)于每個(gè)文檔,都可以分別計(jì)算一組搜索詞("中國(guó)"、"蜜蜂"、"養(yǎng)殖")的TF-IDF,將它們相加,就可以得到整個(gè)文檔的TF-IDF。這個(gè)值最高的文檔就是與搜索詞最相關(guān)的文檔。

TF-IDF算法的優(yōu)點(diǎn)是簡(jiǎn)單快速,結(jié)果比較符合實(shí)際情況。缺點(diǎn)是,單純以"詞頻"衡量一個(gè)詞的重要性,不夠全面,有時(shí)重要的詞可能出現(xiàn)次數(shù)并不多。而且,這種算法無(wú)法體現(xiàn)詞的位置信息,出現(xiàn)位置靠前的詞與出現(xiàn)位置靠后的詞,都被視為重要性相同,這是不正確的。(一種解決方法是,對(duì)全文的第一段和每一段的第一句話,給予較大的權(quán)重。)

下一次,我將用TF-IDF結(jié)合余弦相似性,衡量文檔之間的相似程度。

以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。

相關(guān)文章

  • django restframework序列化字段校驗(yàn)規(guī)則

    django restframework序列化字段校驗(yàn)規(guī)則

    本文主要介紹了django restframework序列化字段校驗(yàn)規(guī)則,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2022-05-05
  • python+opencv實(shí)現(xiàn)堆疊圖片

    python+opencv實(shí)現(xiàn)堆疊圖片

    這篇文章主要為大家詳細(xì)介紹了python+opencv實(shí)現(xiàn)堆疊圖片,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2022-04-04
  • Python實(shí)現(xiàn)將json文件生成C語(yǔ)言的結(jié)構(gòu)體的腳本分享

    Python實(shí)現(xiàn)將json文件生成C語(yǔ)言的結(jié)構(gòu)體的腳本分享

    這篇文章主要為大家詳細(xì)介紹了Python如何實(shí)現(xiàn)將json文件生成C語(yǔ)言的結(jié)構(gòu)體,文中的示例代碼講解詳細(xì),感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下
    2022-09-09
  • 詳解pandas中Series()和DataFrame()的區(qū)別與聯(lián)系

    詳解pandas中Series()和DataFrame()的區(qū)別與聯(lián)系

    本文主要介紹了詳解pandas中Series()和DataFrame()的區(qū)別與聯(lián)系,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2023-01-01
  • python數(shù)字圖像處理之邊緣輪廓檢測(cè)

    python數(shù)字圖像處理之邊緣輪廓檢測(cè)

    這篇文章主要介紹了python數(shù)字圖像處理之邊緣輪廓檢測(cè)示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
    2022-06-06
  • 將pytorch的網(wǎng)絡(luò)等轉(zhuǎn)移到cuda

    將pytorch的網(wǎng)絡(luò)等轉(zhuǎn)移到cuda

    這篇文章主要介紹了將pytorch的網(wǎng)絡(luò)等轉(zhuǎn)移到cuda的實(shí)現(xiàn),具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2021-06-06
  • Python實(shí)現(xiàn)自動(dòng)訪問(wèn)網(wǎng)頁(yè)的例子

    Python實(shí)現(xiàn)自動(dòng)訪問(wèn)網(wǎng)頁(yè)的例子

    今天小編就為大家分享一篇Python實(shí)現(xiàn)自動(dòng)訪問(wèn)網(wǎng)頁(yè)的例子,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2020-02-02
  • python?sys模塊使用方法介紹

    python?sys模塊使用方法介紹

    sys模塊功能多,我們這里介紹一些比較實(shí)用的功能,相信你會(huì)喜歡的,和我一起走進(jìn)python的模塊吧
    2023-01-01
  • Python warning警告出現(xiàn)的原因及忽略方法

    Python warning警告出現(xiàn)的原因及忽略方法

    在本篇文章里小編給大家分享的是關(guān)于Python warning警告出現(xiàn)的原因及忽略方法,有需要的朋友們可以學(xué)習(xí)參考下。
    2020-01-01
  • python3圖片文件批量重命名處理

    python3圖片文件批量重命名處理

    這篇文章主要為大家詳細(xì)介紹了Python3圖片文件批量重命名處理,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2019-10-10

最新評(píng)論