下面小編把具體實現(xiàn)代碼給大家分享如下：

之前一段時間讀到了這篇博客，其中描述了作者如何用java實現(xiàn)國外著名音樂搜索工具shazam的基本功能。其中所提到的文章又將我引向了關于shazam的一篇論文及另外一篇博客。讀完之后發(fā)現(xiàn)其中的原理并不十分復雜，但是方法對噪音的健壯性卻非常好，出于好奇決定自己用python自己實現(xiàn)了一個簡單的音樂搜索工具—— Song Finder, 它的核心功能被封裝在SFEngine 中，第三方依賴方面只使用到了 scipy。

工具demo
這個demo在ipython下展示工具的使用，本項目名稱為Song Finder,我把索引、搜索的功能全部封裝在Song Finder中的SFEngine中。首先是簡單的準備工作：

工具的返回結果是：

其中展示的分別是歌曲名稱及片段在歌曲中出現(xiàn)的位置（以秒計），可以看到工具正確找回了歌曲的曲名，也找到了其在歌曲中的正確位置。

而對于這段《童話》在1分05秒左右的背景噪音更加嘈雜的錄音：

工具的返回結果是：

可以看到盡管噪音非常嘈雜，但是工具仍然能成功識別所對應的歌曲并對應到歌曲的正確位置，說明工具在噪音較大的環(huán)境下有良好的健壯性！

項目主頁： Github

Song Finder原理
給定曲庫對一個錄音片段進行檢索是一個不折不扣的搜索問題，但是對音頻的搜索并不像對文檔、數(shù)據的搜索那么直接。為了完成對音樂的搜索，工具需要完成下列3個任務：

對曲庫中的所有歌曲抽取特征
以相同的方式對錄音片段提取特征
根據錄音片段的特征對曲庫進行搜索，返回最相似的歌曲及其在歌曲中的位置
特征提取？離散傅立葉變換！
為了對音樂（音頻）提取特征，一個很直接的想法是得到音樂的音高的信息，而音高在物理上對應的則又是波的頻率信息。為了獲取這類信息，一個非常直接的額做法是使用離散傅葉變化對聲音進行分析，即使用一個滑動窗口對聲音進行采樣，對窗口內的數(shù)據進行離散傅立葉變化，將時間域上的信息變換為頻率域上的信息，使用scipy的接口可以很輕松的完成。在這之后我們將頻率分段，提取每頻率中振幅最大的頻率：

這樣，對于一個滑動窗口，我提取到了6個頻率作為其特征。對于整段音頻，我們重復調用這個函數(shù)進行特征抽?。?/p>

def sample(self, filename, start_second, duration = 5, callback = None):

 start = start_second * 44100
 if duration == 0:
  end = 1e15
 else:
  end = start + 44100 * duration
 interval = 8192
 scaled = self.read_and_scale(filename)
 length = scaled.size
 while start < min(length, end):
  feature = self.extract_feature(scaled, start, interval)
  if callback != None:
   callback(filename, start, feature)
  start += interval

其中44100為音頻文件自身的采樣頻率，8192是我設定的取樣窗口（對，這樣hardcode是很不對的），callback是一個傳入的函數(shù)，需要這個參數(shù)是因為在不同場景下對于所得到的特征會有不同的后續(xù)操作。

匹配曲庫
在得到歌曲、錄音的大量特征后，如何進行高效搜索是一個問題。一個有效的做法是建立一個特殊的哈希表，其中的key是頻率，其對應的value是一系列(曲名,時間)的tuple，其記錄的是某一歌曲在某一時間出現(xiàn)了某一特征頻率，但是以頻率為key而非以曲名或時間為key。

表格。。

這樣做的好處是，當在錄音中提取到某一個特征頻率時，我們可以從這個哈希表中找出與該特征頻率相關的歌曲及時間！

當然有了這個哈希表還不夠用，我們不可能把所有與特征頻率相關的歌曲都抽出來，看看誰命中的次數(shù)多，因為這樣會完全無視歌曲的時序信息，并引入一些錯誤的匹配。

我們的做法是，對于錄音中在t時間點的一個特征頻率f，從曲庫找出所有與f相關的(曲名,時間)tuple，例如我們得到了

不足
這個小工具是一個幾個小時寫成的hack，有許都地方需要改進，例如：

目前只支持了wav格式的曲庫及錄音
所有數(shù)據都放在內存中，曲庫體積增大時需要引入更好的后端存儲
索引應該并行化，匹配也應該并行化，匹配的模型其實是典型的map-reduce。

以上就是Python通過90行代碼搭建音樂搜索工具，希望大家喜歡。

最新評論