Python爬蟲實現(xiàn)模擬點擊動態(tài)頁面
動態(tài)頁面的模擬點擊:
以斗魚直播為例:http://www.douyu.com/directory/all
爬取每頁的房間名、直播類型、主播名稱、在線人數(shù)等數(shù)據(jù),然后模擬點擊下一頁,繼續(xù)爬取
代碼如下
#!/usr/bin/python3 # -*- coding:utf-8 -*- __author__ = 'mayi' """ 動態(tài)頁面的模擬點擊: 模擬點擊斗魚直播:http://www.douyu.com/directory/all 爬取每頁房間名、直播類型、主播名稱、在線人數(shù)等數(shù)據(jù),然后模擬點擊下一頁,繼續(xù)爬取 """ from selenium import webdriver import json # 調(diào)用環(huán)境變量指定的PhantomJS瀏覽器創(chuàng)建瀏覽器對象,executable_path:指定PhantomJS位置 driver = webdriver.PhantomJS(executable_path = r"D:\Program Files\phantomjs\bin\phantomjs") from bs4 import BeautifulSoup class DouyuSpider(object): """ 爬蟲類 """ def __init__(self): self.url = "http://www.douyu.com/directory/all/" self.driver = webdriver.PhantomJS() self.file_name = open("douyu.json", "w", encoding = "utf-8") def run(self): """ 爬蟲開始工作 """ self.driver.get(self.url) # 循環(huán)處理每一頁,直至最后一頁 page = 1 start_flag = True while True: # 等待3秒,防止訪問過于頻繁 self.driver.implicitly_wait(3) print("正在處理第" + page + "頁......") page += 1 # 解析 soup = BeautifulSoup(self.driver.page_source, "lxml") # 在線直播部分 online_live = soup.find_all('ul', {'id': 'live-list-contentbox'})[0] # 房間列表 live_list = online_live.find_all('li') # 處理每一個房間 for live in live_list: # 房間名、直播類型、主播名稱、在線人數(shù) # 房間名 home_name = live.find_all('h3', {'class': 'ellipsis'})[0].get_text().strip() # 直播類型 live_type = live.find_all('span', {'class': 'tag ellipsis'})[0].get_text().strip() # 主播名稱 anchor_name = live.find_all('span', {'class': 'dy-name ellipsis fl'})[0].get_text().strip() # 在線人數(shù) online_num = live.find_all('span', {'class' :'dy-num fr'})[0].get_text().strip() # print(home_name, live_type, anchor_name, online_num) item = {} item["房間名"] = home_name item["直播類型"] = live_type item["主播名稱"] = anchor_name item["在線人數(shù)"] = online_num if start_flag: start_flag = False content = "[\n" + json.dumps(item) else: content = ",\n" + json.dumps(item) self.file_name.write(content) # page_source.find()未找到內(nèi)容則返回-1 if self.driver.page_source.find('shark-pager-disable-next') != -1: # 已到最后一頁 break # 模擬點擊下一頁 self.driver.find_element_by_class_name('shark-pager-next').click() # 爬蟲結(jié)束前關(guān)閉文件 self.file_name.write("\n]") self.file_name.close() if __name__ == '__main__': douyu = DouyuSpider() douyu.run()
以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
pandas實現(xiàn)datetime64與unix時間戳互轉(zhuǎn)
這篇文章主要介紹了pandas實現(xiàn)datetime64與unix時間戳互轉(zhuǎn),具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2022-07-07Python深度學(xué)習(xí)實戰(zhàn)PyQt5安裝與環(huán)境配置過程詳解
本系列面向 Python 小白,從零開始實戰(zhàn)解說應(yīng)用 QtDesigner 進(jìn)行 PyQt5 的項目實戰(zhàn)。什么叫從零開始?從軟件安裝、環(huán)境配置開始。不跳過一個細(xì)節(jié),不漏掉一行代碼,不省略一個例圖2021-10-10pytorch 運行一段時間后出現(xiàn)GPU OOM的問題
這篇文章主要介紹了pytorch 運行一段時間后出現(xiàn)GPU OOM的問題,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2021-06-06python數(shù)據(jù)結(jié)構(gòu):數(shù)據(jù)類型
這篇文章主要介紹了python數(shù)據(jù)結(jié)構(gòu)中的數(shù)據(jù)類型,在?Python?以及其他所有面向?qū)ο缶幊陶Z言中,類都是對數(shù)據(jù)的構(gòu)成(狀態(tài))以及數(shù)據(jù)?能做什么(行為)的描述,下面我們就來你看看python數(shù)據(jù)結(jié)構(gòu)中的數(shù)據(jù)類型商務(wù)詳細(xì)介紹,需要的小伙伴可以參考一下2021-12-12Python容器使用的5個技巧和2個誤區(qū)總結(jié)
在本篇文章里小編給大家整理的是關(guān)于Python容器使用的5個技巧和2個誤區(qū)的相關(guān)知識點內(nèi)容,需要的朋友們學(xué)習(xí)下。2019-09-09Python3 使用pip安裝git并獲取Yahoo金融數(shù)據(jù)的操作
這篇文章主要介紹了Python3 使用pip安裝git并獲取Yahoo金融數(shù)據(jù)的操作,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2021-04-04