Python爬蟲 bilibili視頻彈幕提取過程詳解
更新時間：2019年07月31日 09:32:32 作者：Tanglaoer
這篇文章主要介紹了Python爬蟲 bilibili視頻彈幕提取過程詳解,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
兩個重要點
1.獲取彈幕的url是以 .xml 結尾
2.彈幕url的所需參數(shù)在視頻url響應的 javascript 中
先看代碼
import requests
from lxml import etree
import re
# 使用手機UA
headers = {
"User-Agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1"
}
# 視頻url
video_url = "https://m.bilibili.com/video/av37834086.html"
html = requests.get(url=video_url, headers=headers).content.decode('utf-8')
# 獲取彈幕url的參數(shù)
cid = re.findall(r"comment: '//comment.bilibili.com/' \+ (.*?) \+ '.xml',", html)
url = "https://comment.bilibili.com/" + cid[0] + ".xml"
print(url)
response = requests.get(url, headers=headers)
html = response.content
xml = etree.HTML(html)
# 提取數(shù)據(jù)
str_list = xml.xpath("http://d/text()")
# 寫入文件
with open('bibi_xuxubaobao.txt', 'w', encoding='utf-8') as f:
for line in str_list:
f.write(line)
f.write('\n')
先找到彈幕的url，以.xml結尾，所以先找到這串數(shù)字所在的位置，并獲取這串數(shù)字發(fā)起第二次請求
而這串數(shù)字就在 第一次請求的響應的JavaScript中，可以通過 re 正則表達式進行提取
接下來的工作就是獲取彈幕url返回的所有彈幕數(shù)據(jù)，然后對響應進行數(shù)據(jù)處理。
代碼示例中使用的是 lxml 進行獲取。接著就是保存到個人本地文件中了
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。
相關文章
python中dir()與__dict__屬性的區(qū)別淺析
這篇文章主要給大家介紹了關于python中dir()與__dict__屬性的區(qū)別的相關資料，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2018-12-12
這篇文章主要介紹了Python中的join()方法的使用,是Python入門中的基礎知識,需要的朋友可以參考下2015-05-05
20行Python代碼實現(xiàn)一款永久免費PDF編輯工具
本文主要介紹了Python代碼實現(xiàn)一款永久免費PDF編輯工具，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2022-07-07
在實際使用安裝python的pip安裝依賴庫是非常的便捷的,下面這篇文章主要給大家介紹了關于pip安裝路徑修改的詳細方法步驟,文中通過圖文介紹的非常詳細,需要的朋友可以參考下2022-06-06
這篇文章主要介紹了python語法?之與用戶交互和運算符，用戶交互就是人往計算機中input/輸入數(shù)據(jù)，計算機print/輸出結果，下文更多相關內容需要的朋友可以參考一下2022-04-04
網(wǎng)易有道2017內推編程題 洗牌（python）
這篇文章主要為大家詳細介紹了網(wǎng)易有道2017內推編程題：洗牌，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-06-06
今天小編就為大家分享一篇python調用matlab的m自定義函數(shù)方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-02-02
在使用python的發(fā)行版anaconda時,常常需要根據(jù)自己的項目安裝新的庫,下面這篇文章主要給大家介紹了關于anaconda?navigator打不開問題的解決方法,需要的朋友可以參考下2022-12-12
在本篇內容中小編給大家整理了一篇關于python怎么輸出反斜杠的相關基礎文章，有興趣的朋友們可以學習參考下。2020-06-06
今天小編就為大家分享一篇python 用所有標點符號分隔句子的示例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-07-07