python3寫爬取B站視頻彈幕功能
需要準備的環(huán)境:
一個B站賬號,需要先登錄,否則不能查看歷史彈幕記錄
聯(lián)網(wǎng)的電腦和順手的瀏覽器,我用的Chrome
Python3環(huán)境以及request模塊,安裝使用命令,換源比較快:
pip3 install request -i http://pypi.douban.com/simple
爬取步驟: 登錄后打開需要爬取的視頻頁面,打開開發(fā)者工具臺,Chrome可以使用F12快捷鍵,選擇network監(jiān)聽請求
點擊查看歷史彈幕,獲取請求
其中rolldate后面的數(shù)字表示該視頻對應(yīng)的彈幕號,返回的數(shù)據(jù)中timestamp表示彈幕日期,new表示數(shù)目
在查看歷史彈幕中任選一天,查看,會發(fā)出新的請求
dmroll ,時間戳,彈幕號,表示獲取該日期的彈幕,1507564800 表示2017/10/10 0:0:0
該請求返回xml數(shù)據(jù)
使用正則表達式獲取所有彈幕消息,匹配模式
'<d p=".*?">(.*?)</d>'
拼接字符串,將所有彈幕保存到本地文件即可
with open('content.txt', mode='w+', encoding='utf8') as f: f.write(content)
參考代碼如下,將彈幕按照日期保存為單個文件...因為太多了...
import requests import re import time """ 爬取嗶哩嗶哩視頻彈幕信息 """ # 2043618 是視頻的彈幕標號,這個地址會返回時間列表 # https://www.bilibili.com/video/av1349282 url = 'https://comment.bilibili.com/rolldate,2043618' # 獲取彈幕的id 2043618 video_id = url.split(',')[-1] print(video_id) # 獲取json文件 html = requests.get(url) # print(html.json()) # 生成時間戳列表 time_list = [i['timestamp'] for i in html.json()] # print(time_list) # 獲取彈幕網(wǎng)址格式 'https://comment.bilibili.com/dmroll,時間戳,彈幕號' # 彈幕內(nèi)容,由于總彈幕量太大,將每個彈幕文件分別保存 for i in time_list: content = '' j = 'https://comment.bilibili.com/dmroll,{0},{1}'.format(i, video_id) print(j) text = requests.get(j).text # 匹配彈幕內(nèi)容 res = re.findall('<d p=".*?">(.*?)</d>', text) # 將時間戳轉(zhuǎn)化為日期形式,需要把字符串轉(zhuǎn)為整數(shù) timeArray = time.localtime(int(i)) date_time = time.strftime("%Y-%m-%d %H:%M:%S", timeArray) print(date_time) content += date_time + '\n' for k in res: content += k + '\n' content += '\n' file_path = 'txt/{}.txt'.format(time.strftime("%Y_%m_%d", timeArray)) print(file_path) with open(file_path, mode='w+', encoding='utf8') as f: f.write(content)
最終效果
之后可以 做一些分詞生成詞云或者進行情感分析,有時間在說吧....
大家可以在下方給小編留言你學(xué)習的心得,也感謝你對腳本之家的支持。
相關(guān)文章
Python 列表中的修改、添加和刪除元素的實現(xiàn)
這篇文章主要介紹了Python 列表中的修改、添加和刪除元素的實現(xiàn),文中通過示例代碼介紹的非常詳細,對大家的學(xué)習或者工作具有一定的參考學(xué)習價值,需要的朋友們下面隨著小編來一起學(xué)習學(xué)習吧2020-06-06linux環(huán)境中沒有網(wǎng)絡(luò)怎么下載python
在本篇文章里小編給大家分享了關(guān)于linux環(huán)境中沒有網(wǎng)絡(luò)怎么下載python的相關(guān)知識點內(nèi)容,需要的朋友們參考下。2019-07-07使用Keras畫神經(jīng)網(wǎng)絡(luò)準確性圖教程
這篇文章主要介紹了使用Keras畫神經(jīng)網(wǎng)絡(luò)準確性圖教程,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-06-06