欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python無損音樂搜索引擎實現代碼

 更新時間:2018年02月02日 11:10:41   投稿:mrr  
這篇文章主要介紹了Python無損音樂搜索引擎的實現代碼,非常不錯,具有參考借鑒價值,需要的朋友可以參考下

 

研究了一段時間酷狗音樂的接口,完美破解了其vip音樂下載方式,想著能更好的追求開源,故寫下此篇文章,本文僅供學習參考。雖然沒什么技術含量,但都是自己一點一點碼出來,一點一點抓出來的。

一、綜述:

根據酷狗的搜索接口以及無損音樂下載接口,做出爬蟲系統(tǒng)。采用flask框架,前端提取搜索關鍵字,后端調用爬蟲系統(tǒng)采集數據,并將數據前端呈現;

運行環(huán)境:windows/linux  python2.7

二、爬蟲開發(fā):

通過抓包的方式對酷狗客戶端進行抓包,抓到兩個接口:

1、搜索接口:

http://songsearch.kugou.com/song_search_v2?keyword={關鍵字}page=1

這個接口通過傳遞關鍵字,其返回的是一段json數據,數據包含音樂名稱、歌手、專輯、總數據量等信息,當然最重要的是數據包含音樂各個品質的hash。

 

默認接口返回的數據只包含30首音樂,為了能拿到所有的數據,只需要把pagesize更改就可以,所以我提取了總數據數量,然后再次發(fā)動一次數據請求,拿到全部的數據。當然,這個總數據量也就是json中的total也是作為搜索結果的依據,如果total == 0 則判斷無法搜索到數據。

搜索到數據后,我就要提取無損音樂的hash,這個hash是音樂下載的關鍵,無損音樂hash鍵名:SQFileHash,提取到無損hash(如果是32個0就表示None),我把他的名稱、歌手、hash以字典形式傳遞給下一個模塊。

代碼實現:

a.請求模塊(復用率高):

# coding=utf-8
import requests
import json
headers = {
  'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
  'Accept-Encoding': 'gzip, deflate',
  'Accept-Language': 'zh-CN,zh;q=0.9',
  'Cache-Control': 'max-age=0',
  'Connection': 'keep-alive',
  'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
         'Chrome/63.0.3239.132 Safari/537.36',
}
def parse(url):
  ret = json.loads(requests.get(url, headers=headers, timeout=5).text)
  # 返回的是已經轉換過后的字典數據
  return ret
if __name__ == '__main__':
  parse()

b.搜索模塊

# coding=utf-8
import copy
import MusicParse
def search(keyword):
  search_url = 'http://songsearch.kugou.com/song_search_v2?keyword={}page=1'.format(keyword)
  # 這里需要判斷一下,ip與搜索字段可能會限制搜索,total進行判斷
  total = MusicParse.parse(search_url)['data']['total']
  if total != 0:
    search_total_url = search_url + '&pagesize=%d' % total
    music_list = MusicParse.parse(search_total_url)['data']['lists']
    item, items = {}, []
    for music in music_list:
      if music['SQFileHash'] != '0'*32:
        item['Song'] = music['SongName'] # 歌名
        item['Singer'] = music['SingerName'] # 歌手
        item['Hash'] = music['SQFileHash'] # 歌曲無損hash
        items.append(copy.deepcopy(item))
    return items
  else:
    return None
if __name__ == '__main__':
  search()

到這步,音樂搜索接口以及利用完了,下面就是無損音樂搜索了。

2、音樂下載接口:

# V2版系統(tǒng),pc版
Music_api_1 = 'http://trackercdnbj.kugou.com/i/v2/?cmd=23&pid=1&behavior=download'
# V2版系統(tǒng),手機版(備用)
Music_api_2 = 'http://trackercdn.kugou.com/i/v2/?appid=1005&pid=2&cmd=25&behavior=play'
# 老版系統(tǒng)(備用)
Music_api_3 = 'http://trackercdn.kugou.com/i/?cmd=4&pid=1&forceDown=0&vip=1'

我這里準備三個接口,根據酷狗系統(tǒng)版本不同,采用不同加密方式,酷狗音樂下載的關鍵就是音樂接口處提交的key的加密方式,key是由hash加密生成的,不同的酷狗版本,加密方式不同:

酷狗v2版key的生成:md5(hash +”kgcloudv2″)

酷狗老版key的生成:md5(hash +”kgcloud”)

只要將音樂的hash+key添加到api_url ,get提交過去,就能返回一段json數據,數據中就包括了音樂的下載鏈接,然后在提取其download_url。下面我將采用酷狗的第一個接口完成代碼的實現,當然,酷狗存在地區(qū)的限制,接口有效性也帶檢測,如果第一個不行就換一個,你懂得?。?!然后我把數據做成字典進行傳遞。

代碼實現:

# coding=utf-8
import copy
import hashlib
import MusicParse
import MusicSearch
# V2版系統(tǒng),pc版,加密方式為md5(hash +"kgcloudv2")
Music_api_1 = 'http://trackercdnbj.kugou.com/i/v2/?cmd=23&pid=1&behavior=download'
# V2版系統(tǒng),手機版,加密方式為md5(hash +"kgcloudv2") (備用)
Music_api_2 = 'http://trackercdn.kugou.com/i/v2/?appid=1005&pid=2&cmd=25&behavior=play'
# 老版系統(tǒng),加密方式為md5(hash +"kgcloud")(備用)
Music_api_3 = 'http://trackercdn.kugou.com/i/?cmd=4&pid=1&forceDown=0&vip=1'
def V2Md5(Hash): # 用于生成key,適用于V2版酷狗系統(tǒng)
  return hashlib.md5((Hash + 'kgcloudv2').encode('utf-8')).hexdigest()
def Md5(Hash): # 用于老版酷狗系統(tǒng)
  return hashlib.md5((Hash + 'kgcloud').encode('utf-8')).hexdigest()
def HighSearch(keyword):
  music_list = MusicSearch.search(keyword)
  if music_list is not None:
    item, items = {}, []
    for music in music_list:
      Hash = str.lower(music['Hash'].encode('utf-8'))
      key_new = V2Md5(Hash) # 生成v2系統(tǒng)key
      try:
        DownUrl = MusicParse.parse(Music_api_1 + '&hash=%s&key=%s' % (Hash, key_new))['url']
        item['Song'] = music['Song'].encode('utf-8') # 歌名
        item['Singer'] = music['Singer'].encode('utf-8') # 歌手
        item['url'] = DownUrl
        items.append(copy.deepcopy(item))
      except KeyError:
        pass
    return items
if __name__ == '__main__':
  HighSearch()

酷狗的爬蟲系統(tǒng)就設計完畢了,下面開始使用flask框架搭建前后端了。

三、引擎搭建

這個搜索引擎是基于flask框架的,設計思路比較簡單,就是前端傳遞post數據(keyword)傳遞到后端,后端拿著這個keyword傳遞給爬蟲,爬蟲把數據返回給系統(tǒng),系統(tǒng)在前端渲染出來。

代碼實現:

# coding=utf-8
import sys
from flask import Flask
from flask import request, render_template
from KgSpider import HighMusicSearch
reload(sys)
sys.setdefaultencoding('utf-8')
app = Flask(__name__)
@app.route('/', methods=['GET', 'POST'])
def search():
  if request.method == 'GET':
    return render_template('index.html')
  elif request.method == 'POST':
    keyword = request.form.get('keyword')
    items = HighMusicSearch.HighSearch(keyword)
    if items != None:
      return render_template('list.html', list=items)
    else:
      return '找不到!??!不支持英文'
  else:
    return render_template('404.html')
if __name__ == '__main__':
  app.run(debug=True)

四、調試

整改引擎系統(tǒng),也就設計完畢,然我們試試效果:

1.啟動腳本:python run.py

 

2.輸入關鍵字進行搜索

 

五、總結

引擎搭建完畢,也能正常的運行了,但是這只是一個模型,完全沒有考慮,多用戶訪問帶來的壓力,很容易崩潰,當然經過我的測試,發(fā)現只能搜索中文,英文完全無效,why?別問我,我也不知道?。?!當然在這里我也想說一下,請尊重版權?。?!雖然我是口是心非?。。。。?/p>

項目地址: 碼云項目地址

總結

以上所述是小編給大家介紹的Python無損音樂搜索引擎實現代碼,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復大家的。在此也非常感謝大家對腳本之家網站的支持!

相關文章

  • 使用icecream實現優(yōu)雅調試Python代碼

    使用icecream實現優(yōu)雅調試Python代碼

    在大型項目中,使用print()調試代碼可能導致終端輸出過多,難以分辨輸出結果與代碼的對應關系,為了更清晰地調試,可以采用Icecream庫,本文介紹了如何使用icecream實現優(yōu)雅調試Python代碼,需要的朋友可以參考下
    2024-08-08
  • Python使用pandas實現對數據進行特定排序

    Python使用pandas實現對數據進行特定排序

    在數據分析和處理過程中,排序是一項常見而重要的操作,本文將詳細介紹如何利用pandas對數據進行特定排序,包括基本排序、多列排序、自定義排序規(guī)則等方面的內容,需要的可以了解下
    2024-03-03
  • python基礎字符串str詳解

    python基礎字符串str詳解

    大家好,本篇文章主要講的是python基礎字符串str詳解,感興趣的同學趕快來看一看吧,對你有幫助的話記得收藏一下,方便下次瀏覽
    2021-12-12
  • Python 讀寫文件和file對象的方法(推薦)

    Python 讀寫文件和file對象的方法(推薦)

    下面小編就為大家?guī)硪黄狿ython 讀寫文件和file對象的方法(推薦)。小編覺得挺不錯的,現在就分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2016-09-09
  • python?Ajenti控制面板輕松地管理所有服務器網站

    python?Ajenti控制面板輕松地管理所有服務器網站

    Ajenti是一個值得擁有的管理面板,免費開源的管理面板工具,可以幫助你集中管理多個服務器和網站,Ajenti?支持?Linux、BSD、Mac?OS?X和Windows?等多個操作系統(tǒng),并且可以通過一個直觀的?Web?界面來完成各種系統(tǒng)管理任務
    2024-01-01
  • Pandas實現在線文件和剪貼板數據讀取詳解

    Pandas實現在線文件和剪貼板數據讀取詳解

    這篇文章主要為大家介紹的是Pandas兩種少用的讀取文件方式:讀取在線文件的數據和讀取剪貼板的數據,感興趣的小伙伴可以跟隨小編一起學習一下
    2022-06-06
  • 三個Python常用的數據清洗處理方式總結

    三個Python常用的數據清洗處理方式總結

    這篇文章主要為大家詳細介紹了python數據處理過程中三個主要的數據清洗說明,分別是缺失值/空格/重復值的數據清洗,感興趣的小伙伴可以了解一下
    2022-12-12
  • python水晶球(函數)詳解

    python水晶球(函數)詳解

    大家好,本篇文章主要講的是python水晶球(函數)詳解,感興趣的同學趕快來看一看吧,對你有幫助的話記得收藏一下,方便下次瀏覽
    2021-12-12
  • Python操作RabbitMQ服務器實現消息隊列的路由功能

    Python操作RabbitMQ服務器實現消息隊列的路由功能

    RabbitMQ是一個消息隊列服務器,這里我們針對Python+Pika+RabbitMQ的服務器端環(huán)境,來看一下如何使用Python操作RabbitMQ服務器實現消息隊列的路由功能
    2016-06-06
  • django 數據庫返回queryset實現封裝為字典

    django 數據庫返回queryset實現封裝為字典

    這篇文章主要介紹了django 數據庫返回queryset實現封裝為字典,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-05-05

最新評論