欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

python3寫爬取B站視頻彈幕功能

 更新時(shí)間:2017年12月22日 15:42:53   投稿:laozhang  
本篇文章給大家講解一下如何用python3寫出爬取B站視頻彈幕的功能,有興趣的讀者們參考學(xué)習(xí)下吧。

需要準(zhǔn)備的環(huán)境:

一個(gè)B站賬號(hào),需要先登錄,否則不能查看歷史彈幕記錄

聯(lián)網(wǎng)的電腦和順手的瀏覽器,我用的Chrome

Python3環(huán)境以及request模塊,安裝使用命令,換源比較快:

pip3 install request -i http://pypi.douban.com/simple

爬取步驟: 登錄后打開需要爬取的視頻頁(yè)面,打開開發(fā)者工具臺(tái),Chrome可以使用F12快捷鍵,選擇network監(jiān)聽請(qǐng)求

 

點(diǎn)擊查看歷史彈幕,獲取請(qǐng)求



其中rolldate后面的數(shù)字表示該視頻對(duì)應(yīng)的彈幕號(hào),返回的數(shù)據(jù)中timestamp表示彈幕日期,new表示數(shù)目


在查看歷史彈幕中任選一天,查看,會(huì)發(fā)出新的請(qǐng)求

dmroll ,時(shí)間戳,彈幕號(hào),表示獲取該日期的彈幕,1507564800 表示2017/10/10 0:0:0



該請(qǐng)求返回xml數(shù)據(jù)


使用正則表達(dá)式獲取所有彈幕消息,匹配模式

'<d p=".*?">(.*?)</d>'

拼接字符串,將所有彈幕保存到本地文件即可

with open('content.txt', mode='w+', encoding='utf8') as f:  f.write(content)

參考代碼如下,將彈幕按照日期保存為單個(gè)文件...因?yàn)樘嗔?..

import requests
import re
import time
"""
  爬取嗶哩嗶哩視頻彈幕信息
"""
# 2043618 是視頻的彈幕標(biāo)號(hào),這個(gè)地址會(huì)返回時(shí)間列表
# https://www.bilibili.com/video/av1349282
url = 'https://comment.bilibili.com/rolldate,2043618'
# 獲取彈幕的id 2043618
video_id = url.split(',')[-1]
print(video_id)
# 獲取json文件
html = requests.get(url)
# print(html.json())
# 生成時(shí)間戳列表
time_list = [i['timestamp'] for i in html.json()]
# print(time_list)
# 獲取彈幕網(wǎng)址格式 'https://comment.bilibili.com/dmroll,時(shí)間戳,彈幕號(hào)'
# 彈幕內(nèi)容,由于總彈幕量太大,將每個(gè)彈幕文件分別保存
for i in time_list:
  content = ''
  j = 'https://comment.bilibili.com/dmroll,{0},{1}'.format(i, video_id)
  print(j)
  text = requests.get(j).text
  # 匹配彈幕內(nèi)容
  res = re.findall('<d p=".*?">(.*?)</d>', text)
  # 將時(shí)間戳轉(zhuǎn)化為日期形式,需要把字符串轉(zhuǎn)為整數(shù)
  timeArray = time.localtime(int(i))
  date_time = time.strftime("%Y-%m-%d %H:%M:%S", timeArray)
  print(date_time)
  content += date_time + '\n'
  for k in res:
    content += k + '\n'
  content += '\n'
  file_path = 'txt/{}.txt'.format(time.strftime("%Y_%m_%d", timeArray))
  print(file_path)
  with open(file_path, mode='w+', encoding='utf8') as f:
    f.write(content)

最終效果



之后可以 做一些分詞生成詞云或者進(jìn)行情感分析,有時(shí)間在說(shuō)吧....

大家可以在下方給小編留言你學(xué)習(xí)的心得,也感謝你對(duì)腳本之家的支持。

相關(guān)文章

  • Python 列表中的修改、添加和刪除元素的實(shí)現(xiàn)

    Python 列表中的修改、添加和刪除元素的實(shí)現(xiàn)

    這篇文章主要介紹了Python 列表中的修改、添加和刪除元素的實(shí)現(xiàn),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2020-06-06
  • TensorBoard 計(jì)算圖的查看方式

    TensorBoard 計(jì)算圖的查看方式

    今天小編就為大家分享一篇TensorBoard 計(jì)算圖的查看方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2020-02-02
  • linux環(huán)境中沒(méi)有網(wǎng)絡(luò)怎么下載python

    linux環(huán)境中沒(méi)有網(wǎng)絡(luò)怎么下載python

    在本篇文章里小編給大家分享了關(guān)于linux環(huán)境中沒(méi)有網(wǎng)絡(luò)怎么下載python的相關(guān)知識(shí)點(diǎn)內(nèi)容,需要的朋友們參考下。
    2019-07-07
  • python正則表達(dá)式爬取貓眼電影top100

    python正則表達(dá)式爬取貓眼電影top100

    這篇文章主要為大家詳細(xì)介紹了python正則表達(dá)式爬取貓眼電影top100,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2018-02-02
  • 如何在python中實(shí)現(xiàn)ECDSA你知道嗎

    如何在python中實(shí)現(xiàn)ECDSA你知道嗎

    這篇文章主要為大家介紹了python中實(shí)現(xiàn)ECDSA,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下,希望能夠給你帶來(lái)幫助,希望能夠給你帶來(lái)幫助
    2021-11-11
  • 使用Keras畫神經(jīng)網(wǎng)絡(luò)準(zhǔn)確性圖教程

    使用Keras畫神經(jīng)網(wǎng)絡(luò)準(zhǔn)確性圖教程

    這篇文章主要介紹了使用Keras畫神經(jīng)網(wǎng)絡(luò)準(zhǔn)確性圖教程,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2020-06-06
  • python3.3實(shí)現(xiàn)乘法表示例

    python3.3實(shí)現(xiàn)乘法表示例

    這篇文章主要介紹了python3.3實(shí)現(xiàn)乘法表示例,需要的朋友可以參考下
    2014-02-02
  • 利用pandas進(jìn)行數(shù)據(jù)清洗的方法

    利用pandas進(jìn)行數(shù)據(jù)清洗的方法

    本文主要介紹了利用pandas進(jìn)行數(shù)據(jù)清洗的方法,文中通過(guò)示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2021-09-09
  • PyQt 圖解Qt Designer工具的使用方法

    PyQt 圖解Qt Designer工具的使用方法

    這篇文章主要介紹了PyQt 圖解Qt Designer工具的使用方法,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
    2019-08-08
  • Python超有用的多版本管理工具pyenv

    Python超有用的多版本管理工具pyenv

    使用不同的Python版本,如果我們把需要的不同版本的Python都下載到服務(wù)器上,管理起來(lái)會(huì)非常困難,多版本并存又容易互相干擾,接下來(lái)就來(lái)介紹一個(gè)Python環(huán)境管理工具:pyenv,就可輕松的在多個(gè)版本的Python之間自由切換,需要的朋友可以參考下
    2021-09-09

最新評(píng)論