詳解python selenium 爬取網(wǎng)易云音樂歌單名
目標(biāo)網(wǎng)站:
首先獲取第一頁的數(shù)據(jù),這里關(guān)鍵要切換到iframe里
打印一下
獲取剩下的頁數(shù),這里在點(diǎn)擊下一頁之前需要設(shè)置一個(gè)延遲,不然會(huì)報(bào)錯(cuò)。
結(jié)果:
一共37頁,爬取完畢后關(guān)閉瀏覽器
完整代碼:
url = 'https://music.163.com/#/discover/playlist/' from selenium import webdriver import time # 創(chuàng)建瀏覽器對象 window = webdriver.Chrome('./chromedriver') window.get(url) time.sleep(1) # 切換到iframe窗口 iframe = window.find_element_by_id('g_iframe') window.switch_to.frame(iframe) music_list = window.find_elements_by_xpath('//ul[@class="m-cvrlst f-cb"]/li') for music_element in music_list: print(music_element.text) print() print('*'*20) page = 1 # 開始提取 while True: time.sleep(2) # 獲取下一頁 next = window.find_element_by_link_text('下一頁') if not next.get_attribute('class') == 'zbtn znxt js-disabled': next.click() else: break time.sleep(1) # 提取數(shù)據(jù) music_list = window.find_elements_by_xpath('//ul[@class="m-cvrlst f-cb"]/li') for music_element in music_list: print(music_element.text) print() print(page,'*'*20) page+=1 # 退出瀏覽器 window.quit()
以上所述是小編給大家介紹的python selenium爬取網(wǎng)易云音樂歌單名詳解整合,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對腳本之家網(wǎng)站的支持!
- python爬蟲之利用Selenium+Requests爬取拉勾網(wǎng)
- python selenium實(shí)現(xiàn)智聯(lián)招聘數(shù)據(jù)爬取
- python基于selenium爬取斗魚彈幕
- python爬蟲利用selenium實(shí)現(xiàn)自動(dòng)翻頁爬取某魚數(shù)據(jù)的思路詳解
- Python selenium爬取微信公眾號文章代碼詳解
- 基于python requests selenium爬取excel vba過程解析
- Python進(jìn)階之使用selenium爬取淘寶商品信息功能示例
- Python使用Selenium+BeautifulSoup爬取淘寶搜索頁
- python爬蟲系列Selenium定向爬取虎撲籃球圖片詳解
- python學(xué)習(xí)之panda數(shù)據(jù)分析核心支持庫
- Python數(shù)據(jù)分析之彩票的歷史數(shù)據(jù)
- python數(shù)據(jù)分析之員工個(gè)人信息可視化
- python數(shù)據(jù)分析之公交IC卡刷卡分析
- python數(shù)據(jù)分析之用sklearn預(yù)測糖尿病
- Python數(shù)據(jù)分析之pandas函數(shù)詳解
- Python數(shù)據(jù)分析之Python和Selenium爬取BOSS直聘崗位
相關(guān)文章
使用matplotlib修改坐標(biāo)軸,將y軸的間距設(shè)置為某一個(gè)值
這篇文章主要介紹了使用matplotlib修改坐標(biāo)軸,將y軸的間距設(shè)置為某一個(gè)值方式,具有很好的參考價(jià)值,希望對大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-02-02pandas的唯一值、值計(jì)數(shù)以及成員資格的示例
今天小編就為大家分享一篇pandas的唯一值、值計(jì)數(shù)以及成員資格的示例,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-07-07使用pycharm將自己項(xiàng)目代碼上傳github(小白教程)
github是一個(gè)代碼托管平臺(tái),本文主要介紹了使用pycharm將自己項(xiàng)目代碼上傳github,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2021-11-11Python中初始化一個(gè)二維數(shù)組及注意事項(xiàng)說明
這篇文章主要介紹了Python中初始化一個(gè)二維數(shù)組及注意事項(xiàng)說明,具有很好的參考價(jià)值,希望對大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-08-08對python3標(biāo)準(zhǔn)庫httpclient的使用詳解
今天小編就為大家分享一篇對python3標(biāo)準(zhǔn)庫httpclient的使用詳解,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-12-12kafka-python批量發(fā)送數(shù)據(jù)的實(shí)例
今天小編就為大家分享一篇kafka-python批量發(fā)送數(shù)據(jù)的實(shí)例,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-12-12Python 循環(huán)語句之 while,for語句詳解
Python中有兩種循環(huán),分別為:for循環(huán)和while循環(huán)。 for循環(huán)可以遍歷任何序列的項(xiàng)目,如一個(gè)列表或者一個(gè)字符串。while 語句用于循環(huán)執(zhí)行程序,即在某條件下,循環(huán)執(zhí)行某段程序,以處理需要重復(fù)處理的相同任務(wù)。2018-04-04詳解Selenium-webdriver繞開反爬蟲機(jī)制的4種方法
這篇文章主要介紹了詳解Selenium-webdriver繞開反爬蟲機(jī)制的4種方法,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-10-10