Python音樂爬蟲完美繞過反爬
前言
大家好，我叫善念。
這是我的第二篇博客，也是第一篇技術(shù)博客，希望大家多多支持，讓我更加有動(dòng)力去更新一些python爬蟲類的案例教程。
開始
確立目標(biāo)網(wǎng)址：點(diǎn)擊進(jìn)入
進(jìn)入到跳轉(zhuǎn)頁面：
可以看到出現(xiàn)了咱們需要的一些音樂
分析（x0）
這些音樂的源文件地址是否在咱們的網(wǎng)頁元素中，然后再查看網(wǎng)頁源代碼中是否有咱們需要的內(nèi)容。（注：網(wǎng)頁元素與網(wǎng)頁源代碼不一定是一樣的，網(wǎng)頁元素是經(jīng)過瀏覽器渲染后的源代碼，而源代碼純粹就是服務(wù)器給咱們傳送過來的原始數(shù)據(jù)）
網(wǎng)頁元素中只有封面圖片的資源，沒用音頻源文件地址：
網(wǎng)頁源代碼中同樣沒有咱們需要的內(nèi)容：
分析（x1）
其實(shí)沒有才正常（這種大型網(wǎng)站的數(shù)據(jù)不會(huì)讓你這么輕易抓?。?...不過是帶大家走一遍流程，對(duì)別的網(wǎng)站也要這樣分析
那么咱們開始播放音樂抓包，看是否能抓到數(shù)據(jù)：
果然是經(jīng)過觸發(fā)播放按鈕后，服務(wù)器傳給咱們客戶端的。（ajax）
而咱們抓到的這個(gè)源文件地址
除了這兩段外，其它的應(yīng)該都是固定死的。
分析（x2）
那么我假設(shè)這兩段是從我開始訪問這首歌曲頁面的時(shí)候生成的，比如后面那串?dāng)?shù)字為這首音樂在服務(wù)器數(shù)據(jù)庫中的對(duì)應(yīng)的一個(gè)ID值呢？
假設(shè)是合理的，不過由于咱們前面已經(jīng)查看過源代碼和網(wǎng)頁元素中找不到這些值，我就不在這里浪費(fèi)時(shí)間了。
分析（x3）
這里我和大家講一下，咱們向服務(wù)器發(fā)送一個(gè)網(wǎng)址請(qǐng)求，服務(wù)器給咱們返回的可不止一個(gè)數(shù)據(jù)包，一般都是N個(gè)數(shù)據(jù)包。當(dāng)我們看到源代碼中沒有時(shí)候，也許它正悄悄地通過Ajax傳給我們了？
Ajax在網(wǎng)上有很多的解釋，但是大家未必能理解。從服務(wù)器獲得源代碼數(shù)據(jù)，然后通過瀏覽器渲染執(zhí)行JavaScript獲得一些數(shù)據(jù)（音樂）。
這樣說大家應(yīng)該就懂了，那么咱們開始抓當(dāng)前頁面的包：
Ajax異步請(qǐng)求的數(shù)據(jù)，都會(huì)在XHR中。所以直接篩選就好了。這個(gè)包我已經(jīng)抓到了，get請(qǐng)求然后看下返回的值。
果然就是這個(gè)包數(shù)據(jù)都是對(duì)應(yīng)的，然后打開看看里面是否有音樂源文件地址：
并沒有，但是有一個(gè)rid出現(xiàn)了兩次。
分析（x4）
那么它是否是咱們音樂的ID（索引）值？
接著看下面的包：
這個(gè)get請(qǐng)求很關(guān)鍵，它的參數(shù)中利用到了咱們的rid這個(gè)值
而他返回值里正好有咱們的音樂源文件地址：
通過分析獲取到音樂
通過咱們的分析，已經(jīng)可以理清思路了。
首先抓取這個(gè)包獲取到rid
然后傳遞rid進(jìn)行這個(gè)包的請(qǐng)求獲取到音樂文件地址
JavaScript繞過之參數(shù)冗余
可以看到這個(gè)rid獲取的地址中有key值是url編碼很輕松就可以解碼：
import requests keywords = '%E5%BE%80%E4%BA%8B%E9%9A%8F%E9%A3%8E' print(requests.utils.unquote(keywords)) # 往事隨風(fēng)
而pn=1意思就是第一頁嘛，30就是這一頁總共30條音樂數(shù)據(jù)咯，1代表狀態(tài)碼請(qǐng)求成功，而最后reqId這個(gè)值如何獲取呢？
有能力的自己去逆向JavaScript，而咱們這里直接把這里的參數(shù)都刪除掉，同樣可以訪問到咱們的rid，為什么呢？
當(dāng)你訪問百度的時(shí)候
可以看到多余了很多你看不懂的參數(shù)，而這些參數(shù)實(shí)際上可以直接刪除掉！
結(jié)果是一樣的，這個(gè)就叫參數(shù)冗余。
CSRF攻擊與防御
當(dāng)咱們直接訪問這個(gè)鏈接確出現(xiàn)這樣的畫面？
而咱們?nèi)绻颜?qǐng)求頭全部放到咱們的pycharm中利用Python模擬發(fā)送請(qǐng)求卻可以成功（自行測試）
可以看到請(qǐng)求中有一個(gè)參數(shù)叫csrf，這個(gè)叫做防跨站點(diǎn)攻擊。
這個(gè)就好理解了，當(dāng)我們用瀏覽器直接訪問的話，盡管可以帶cookies，但是咱們是沒法攜帶這個(gè)參數(shù)的。而當(dāng)我們把請(qǐng)求頭完整的復(fù)制在pycharm中Python運(yùn)行的話，就可以攜帶這個(gè)參數(shù)，那么就可以訪問。
目的就是保護(hù)此api防止任意情況下都可以隨便訪問。
而這個(gè)csrf參數(shù)不就是咱們cookies中的值么？那么是不是咱們首先需要獲取cookies？因?yàn)閏ookies會(huì)過期阿，為了讓你的程序永久有效，那么最好的辦法就是自動(dòng)獲取cookies
總結(jié)
那么所有的原理都可以搞清楚了
首先訪問首頁獲取cookies，然后繞過JavaScript刪除多余的參數(shù)獲取到rid，最后通過rid進(jìn)行訪問獲取到音樂源地址（這里的參數(shù)也可以刪除），最后保存數(shù)據(jù)！
全程干貨，分析網(wǎng)站反扒手段，Python采集整站任意音樂！
代碼
"""
author: 善念
date: 2021-04-12
"""
import requests
import jsonpath
from urllib.request import urlretrieve
import urllib.parse
def get_csrf():
# 保持cookies 維持客戶端與服務(wù)器之間的會(huì)話
headers = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
'Accept-Encoding': 'gzip, deflate',
'Accept-Language': 'zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7',
'Cache-Control': 'no-cache',
'Connection': 'keep-alive',
# 'Cookie': 'Hm_lvt_cdb524f42f0ce19b169a8071123a4797=1618229629; _ga=GA1.2.1951895595.1618229638; _gid=GA1.2.369506281.1618229638; Hm_lpvt_cdb524f42f0ce19b169a8071123a4797=1618230532; kw_token=ZOMA0RIOLV',
'Host': 'www.kuwo.cn',
'Pragma': 'no-cache',
'Upgrade-Insecure-Requests': '1',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36',
}
s.get('http://www.kuwo.cn/', headers=headers)
url = f'http://www.kuwo.cn/api/www/search/searchMusicBykeyWord?key={keyword}&pn=1&rn=30&httpsStatus=1&reqId=a3b6cb30-9b8a-11eb-bc04-b33703ed2ebb'
headers = {
'Accept': 'application/json, text/plain, */*',
'Accept-Encoding': 'gzip, deflate',
'Accept-Language': 'zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7',
'Cache-Control': 'no-cache',
'Connection': 'keep-alive',
# 'Cookie': 'Hm_lvt_cdb524f42f0ce19b169a8071123a4797=1618229629; _ga=GA1.2.1951895595.1618229638; _gid=GA1.2.369506281.1618229638; Hm_lpvt_cdb524f42f0ce19b169a8071123a4797=1618229710; kw_token=UTBATXE1HY',
'csrf': s.cookies.get_dict()['kw_token'],
'Host': 'www.kuwo.cn',
'Pragma': 'no-cache',
'Referer': f'http://www.kuwo.cn/search/list?key={keyword}',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36',
}
r = s.get(url, headers=headers)
print(r.text)
rid = jsonpath.jsonpath(r.json(), '$..rid')[0]
print(rid)
return rid
def get_music_url(rid):
url = f'http://www.kuwo.cn/url?format=mp3&rid={rid}&response=url&type=convert_url3&br=128kmp3&from=web&httpsStatus=1'
headers = {
'Accept': 'application/json, text/plain, */*',
'Accept-Encoding': 'gzip, deflate',
'Accept-Language': 'zh-CN,zh;q=0.9',
'Cache-Control': 'no-cache',
'Connection': 'keep-alive',
# 'Cookie': 'Hm_lvt_cdb524f42f0ce19b169a8071123a4797=1618231398; _ga=GA1.2.52993118.1618231399; _gid=GA1.2.889494894.1618231399; Hm_lpvt_cdb524f42f0ce19b169a8071123a4797=1618231413; _gat=1; kw_token=VBM6N1XEG4P',
'Host': 'www.kuwo.cn',
'Pragma': 'no-cache',
'Referer': f'http://www.kuwo.cn/search/list?key={keyword}',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36',
}
music_url = s.get(url, headers=headers).json().get('url')
print(music_url)
return music_url
def get_music(music_url):
urlretrieve(music_url, f'{urllib.parse.unquote(keyword)}'+'.mp3')
def go():
rid = get_csrf()
music_url = get_music_url(rid)
get_music(music_url)
if __name__ == '__main__':
s = requests.session()
keyword = input('請(qǐng)輸入您要下載的音樂名字：')
keyword = urllib.parse.quote(keyword)
go()
到此這篇關(guān)于Python音樂爬蟲完美繞過反爬的文章就介紹到這了,更多相關(guān)Python爬取音樂內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
深入理解Python中的*args和**kwargs參數(shù)(示例代碼)
*args和**kwargs是Python函數(shù)編程中極其有用的特性,它們?yōu)楹瘮?shù)參數(shù)的處理提供了極大的靈活性和強(qiáng)大的功能,這篇文章主要介紹了Python中的*args和**kwargs參數(shù),需要的朋友可以參考下2024-06-06
粘包就是在數(shù)據(jù)傳輸過程中有多個(gè)數(shù)據(jù)包被粘連在一起被發(fā)送或接受,本文主要介紹了python粘包的解決方案,具有一定的參考價(jià)值,感興趣的可以了解一下2024-01-01
python multiprocessing多進(jìn)程變量共享與加鎖的實(shí)現(xiàn)
這篇文章主要介紹了python multiprocessing多進(jìn)程變量共享與加鎖的實(shí)現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-10-10
Python字符串格式化format()方法運(yùn)用實(shí)例
這篇文章主要給大家介紹了關(guān)于Python字符串格式化format()方法運(yùn)用實(shí)例的相關(guān)資料,字符串格式化是Python編程中十分常用的部分,它可以幫助我們將更具可讀性的數(shù)據(jù)輸出到控制臺(tái)或?qū)懭胛募?需要的朋友可以參考下2023-08-08
詳解python數(shù)組中的符號(hào)...與:符號(hào)的不同之處
這篇文章主要介紹了詳解python數(shù)組中的符號(hào)...與:符號(hào)的不同之處，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-03-03
Python異步編程之新舊協(xié)程的實(shí)現(xiàn)對(duì)比
Python中新舊協(xié)程的實(shí)現(xiàn)方式在協(xié)程發(fā)展史上有一段交集,并且舊協(xié)程基于生成器的協(xié)程語法讓生成器和協(xié)程兩個(gè)概念混淆,所以對(duì)學(xué)習(xí)者會(huì)造成一定的困擾,本文主要說明兩種協(xié)程的實(shí)現(xiàn)方式的差異,需要的可以了解下2024-01-01
python2.x實(shí)現(xiàn)人民幣轉(zhuǎn)大寫人民幣
這篇文章主要為大家詳細(xì)介紹了python2.x實(shí)現(xiàn)人民幣轉(zhuǎn)大寫人民幣，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-06-06
本文討論P(yáng)ython的for…else和while…else語法，這是Python中最不常用、最為誤解的語法特性之一2016-02-02
Python入門之實(shí)例方法、類方法和靜態(tài)方法的區(qū)別講解
這篇文章主要介紹了Python入門之實(shí)例方法、類方法和靜態(tài)方法的區(qū)別講解,實(shí)例方法是在創(chuàng)建了類的實(shí)例之后才能被調(diào)用的方法,類方法是在不需要?jiǎng)?chuàng)建類的實(shí)例的情況下就可以調(diào)用的方法,最后,靜態(tài)方法是與類和類的實(shí)例都沒有綁定關(guān)系的方法,需要的朋友可以參考下2023-10-10
如何使用Django Admin管理后臺(tái)導(dǎo)入CSV
這篇文章主要介紹了如何使用Django Admin管理后臺(tái)導(dǎo)入CSV，幫助大家更好的理解和使用django框架，感興趣的朋友可以了解下2020-11-11