python基于selenium爬取斗魚彈幕
針對彈幕的爬取我們?nèi)绻恍枰@取看到的網(wǎng)頁里面的而數(shù)據(jù),使用selenium就能實現(xiàn),對于直播平臺來說,往往有第三方平臺api讓你獲取數(shù)據(jù)(可以獲取發(fā)彈幕,發(fā)彈幕者的名字禮物等等,這需要客戶端向彈幕服務(wù)器發(fā)送登錄請求,心跳信息的發(fā)送等等)只獲取彈幕信息儲存到txt文件中,上代碼,上圖片
代碼如下:
import time from selenium import webdriver chrome_options = webdriver.ChromeOptions() # 使用headless無界面瀏覽器模式 # chrome_options.add_argument('--headless') # chrome_options.add_argument('--disable-gpu') prefs = {"profile.managed_default_content_settings.images": 2} chrome_options.add_experimental_option("prefs", prefs) browser = webdriver.Chrome(chrome_options=chrome_options) url = 'https://www.douyu.com/' def getDanmu(homeId): homeHref = url+str(homeId) browser.get(homeHref) while 1: time.sleep(2) try: for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'): if len(i.text) > 0: try: print(i.text) except: pass saveDanmu(i.text) else: continue except: time.sleep(2) for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'): if len(i.text) > 0: try: print(i.text) except: pass saveDanmu(i.text) else: continue def saveDanmu(danmu): with open('danmu.txt', 'a+', encoding='utf-8')as f: f.write(danmu+'\n') if __name__ == '__main__': num = input('請輸入需要查詢的房間號:') getDanmu(num)
以上就是python基于selenium爬取斗魚彈幕的詳細內(nèi)容,更多關(guān)于python 爬取斗魚彈幕的資料請關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
Python Django2 model 查詢介紹(條件、范圍、模糊查詢)
這篇文章主要介紹了Python Django2 model 查詢介紹(條件、范圍、模糊查詢),具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-03-03如何使用Python的Requests包實現(xiàn)模擬登陸
這篇文章主要為大家詳細介紹了使用Python的Requests包模擬登陸,具有一定的參考價值,感興趣的小伙伴們可以參考一下2018-04-04python opencv 圖像處理之圖像算數(shù)運算及修改顏色空間
這篇文章主要介紹了python opencv 圖像處理之圖像算數(shù)運算及修改顏色空間,文章圍繞主題展開詳細的內(nèi)容介紹,具有一定的參考價值,需要的朋友可以參考一下2022-08-08用python監(jiān)控服務(wù)器的cpu,磁盤空間,內(nèi)存,超過郵件報警
這篇文章主要介紹了如果用python監(jiān)控服務(wù)器的cpu,磁盤空間,內(nèi)存,超過郵件報警,幫助大家更好的理解和使用python,感興趣的朋友可以了解下2021-01-01Python3爬蟲學(xué)習(xí)之將爬取的信息保存到本地的方法詳解
這篇文章主要介紹了Python3爬蟲學(xué)習(xí)之將爬取的信息保存到本地的方法,結(jié)合實例形式詳細分析了Python3信息爬取、文件讀寫、圖片存儲等相關(guān)操作技巧,需要的朋友可以參考下2018-12-12