欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python爬蟲實現(xiàn)模擬點擊動態(tài)頁面

 更新時間:2020年03月05日 11:57:45   作者:騎著螞蟻流浪  
這篇文章主要介紹了Python爬蟲實現(xiàn)模擬點擊動態(tài)頁面,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下

動態(tài)頁面的模擬點擊:

以斗魚直播為例:http://www.douyu.com/directory/all

爬取每頁的房間名、直播類型、主播名稱、在線人數(shù)等數(shù)據(jù),然后模擬點擊下一頁,繼續(xù)爬取

代碼如下

#!/usr/bin/python3
# -*- coding:utf-8 -*-
__author__ = 'mayi'
 
"""
動態(tài)頁面的模擬點擊:
  模擬點擊斗魚直播:http://www.douyu.com/directory/all
  爬取每頁房間名、直播類型、主播名稱、在線人數(shù)等數(shù)據(jù),然后模擬點擊下一頁,繼續(xù)爬取
"""
 
from selenium import webdriver
import json
 
# 調(diào)用環(huán)境變量指定的PhantomJS瀏覽器創(chuàng)建瀏覽器對象,executable_path:指定PhantomJS位置
driver = webdriver.PhantomJS(executable_path = r"D:\Program Files\phantomjs\bin\phantomjs")
from bs4 import BeautifulSoup
 
class DouyuSpider(object):
  """
  爬蟲類
  """
  def __init__(self):
    self.url = "http://www.douyu.com/directory/all/"
    self.driver = webdriver.PhantomJS()
    self.file_name = open("douyu.json", "w", encoding = "utf-8")
 
  def run(self):
    """
    爬蟲開始工作
    """
    self.driver.get(self.url)
    # 循環(huán)處理每一頁,直至最后一頁
    page = 1
    start_flag = True
    while True:
      # 等待3秒,防止訪問過于頻繁
      self.driver.implicitly_wait(3)
      print("正在處理第" + page + "頁......")
      page += 1
      # 解析
      soup = BeautifulSoup(self.driver.page_source, "lxml")
      # 在線直播部分
      online_live = soup.find_all('ul', {'id': 'live-list-contentbox'})[0]
      # 房間列表
      live_list = online_live.find_all('li')
      # 處理每一個房間
      for live in live_list:
        # 房間名、直播類型、主播名稱、在線人數(shù)
        # 房間名
        home_name = live.find_all('h3', {'class': 'ellipsis'})[0].get_text().strip()
        # 直播類型
        live_type = live.find_all('span', {'class': 'tag ellipsis'})[0].get_text().strip()
        # 主播名稱
        anchor_name = live.find_all('span', {'class': 'dy-name ellipsis fl'})[0].get_text().strip()
        # 在線人數(shù)
        online_num = live.find_all('span', {'class' :'dy-num fr'})[0].get_text().strip()
        # print(home_name, live_type, anchor_name, online_num)
        item = {}
        item["房間名"] = home_name
        item["直播類型"] = live_type
        item["主播名稱"] = anchor_name
        item["在線人數(shù)"] = online_num
        if start_flag:
          start_flag = False
          content = "[\n" + json.dumps(item)
        else:
          content = ",\n" + json.dumps(item)
        self.file_name.write(content)
      # page_source.find()未找到內(nèi)容則返回-1
      if self.driver.page_source.find('shark-pager-disable-next') != -1:
        # 已到最后一頁
        break
      # 模擬點擊下一頁
      self.driver.find_element_by_class_name('shark-pager-next').click()
 
    # 爬蟲結(jié)束前關(guān)閉文件
    self.file_name.write("\n]")
    self.file_name.close()
if __name__ == '__main__':
  douyu = DouyuSpider()
  douyu.run()

以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。

相關(guān)文章

  • 一文教你如何使用Python繪制瀑布圖

    一文教你如何使用Python繪制瀑布圖

    什么是瀑布圖?瀑布圖用表達(dá)兩個數(shù)值之間的變化過程,過程值為正的時候,向上加,過程值為負(fù)的時候向下減。本文就帶大家學(xué)習(xí)一下如何用Python繪制瀑布圖吧
    2023-04-04
  • 利用python獲取想要搜索的數(shù)據(jù)

    利用python獲取想要搜索的數(shù)據(jù)

    這篇文章主要介紹了利用Python爬蟲采集想要搜索的信息(利用某du的接口實現(xiàn))并且處理掉它的反爬手段,文中示例代碼很詳細(xì),具有一定的學(xué)習(xí)價值,感興趣的小伙伴快來一起學(xué)習(xí)吧
    2023-05-05
  • pandas實現(xiàn)datetime64與unix時間戳互轉(zhuǎn)

    pandas實現(xiàn)datetime64與unix時間戳互轉(zhuǎn)

    這篇文章主要介紹了pandas實現(xiàn)datetime64與unix時間戳互轉(zhuǎn),具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教
    2022-07-07
  • Python深度學(xué)習(xí)實戰(zhàn)PyQt5安裝與環(huán)境配置過程詳解

    Python深度學(xué)習(xí)實戰(zhàn)PyQt5安裝與環(huán)境配置過程詳解

    本系列面向 Python 小白,從零開始實戰(zhàn)解說應(yīng)用 QtDesigner 進(jìn)行 PyQt5 的項目實戰(zhàn)。什么叫從零開始?從軟件安裝、環(huán)境配置開始。不跳過一個細(xì)節(jié),不漏掉一行代碼,不省略一個例圖
    2021-10-10
  • Python使用re模塊驗證危險字符

    Python使用re模塊驗證危險字符

    這篇文章主要介紹了如何基于python驗證危險字符,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
    2020-05-05
  • pytorch 運行一段時間后出現(xiàn)GPU OOM的問題

    pytorch 運行一段時間后出現(xiàn)GPU OOM的問題

    這篇文章主要介紹了pytorch 運行一段時間后出現(xiàn)GPU OOM的問題,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教
    2021-06-06
  • python數(shù)據(jù)結(jié)構(gòu):數(shù)據(jù)類型

    python數(shù)據(jù)結(jié)構(gòu):數(shù)據(jù)類型

    這篇文章主要介紹了python數(shù)據(jù)結(jié)構(gòu)中的數(shù)據(jù)類型,在?Python?以及其他所有面向?qū)ο缶幊陶Z言中,類都是對數(shù)據(jù)的構(gòu)成(狀態(tài))以及數(shù)據(jù)?能做什么(行為)的描述,下面我們就來你看看python數(shù)據(jù)結(jié)構(gòu)中的數(shù)據(jù)類型商務(wù)詳細(xì)介紹,需要的小伙伴可以參考一下
    2021-12-12
  • Python容器使用的5個技巧和2個誤區(qū)總結(jié)

    Python容器使用的5個技巧和2個誤區(qū)總結(jié)

    在本篇文章里小編給大家整理的是關(guān)于Python容器使用的5個技巧和2個誤區(qū)的相關(guān)知識點內(nèi)容,需要的朋友們學(xué)習(xí)下。
    2019-09-09
  • Python項目文件中安裝?setup.py的步驟

    Python項目文件中安裝?setup.py的步驟

    大家都知道setup.py是python模塊分發(fā)與安裝的指導(dǎo)文件,這篇文章主要介紹了Python項目文件中如何安裝?setup.py,需要的朋友可以參考下
    2023-05-05
  • Python3 使用pip安裝git并獲取Yahoo金融數(shù)據(jù)的操作

    Python3 使用pip安裝git并獲取Yahoo金融數(shù)據(jù)的操作

    這篇文章主要介紹了Python3 使用pip安裝git并獲取Yahoo金融數(shù)據(jù)的操作,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2021-04-04

最新評論