selenium與xpath之獲取指定位置的元素的實(shí)現(xiàn)
今天有點(diǎn)新的與大家分享,關(guān)于selenium與xpath之間爬數(shù)據(jù)獲取指定位置的時(shí)候,方式不一樣哦。
詳情可以看我的代碼,以b站來看好吧:

查看這href元素,如果是xpath,肯定這么寫是沒有問題的:
i.find_element_by_xpath('./a/@href')
但你再selenium里面這樣寫會報(bào)錯(cuò),所以要改成這樣
i.find_element_by_xpath('./a').get_attribute('href')
這樣方可正確
這是一個(gè)小案例,關(guān)于爬取b站音樂視頻,但我的技術(shù)水平有限,無法下載,找不到那個(gè)東東
大家如果知道如何下載可以在評論區(qū)留言,嘿嘿
import requests
from selenium.webdriver import Chrome,ChromeOptions
#后面越來越多喜歡用函數(shù)來實(shí)現(xiàn)了
def get_webhot(): #熱搜函數(shù)
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36'
}
url ="https://www.bilibili.com/" # 微博的地址
res = requests.get(url)
#這個(gè)就是再后臺上面運(yùn)行那個(gè)瀏覽器,不在表面上占用你的
option = ChromeOptions()
option.add_argument('--headless')
option.add_argument("--no-sandbox")
#這里也要輸入
browser = Chrome(options=option)
browser.get(url)
#解析那個(gè)web熱搜前,按住ctrl+f會在下面出現(xiàn)一個(gè)框框,然后改就完事
browser.find_element_by_xpath('//*[@id="primaryChannelMenu"]/span[3]/div/a/span').click()
c = browser.find_elements_by_xpath('//*[@id="high_energy"]/div[1]/div[2]/div')
for i in c:
#這里一定要注意,在selenium中不能像xpath那樣寫('./a/@href')來獲取指定的位置,要報(bào)錯(cuò),只能這么獲取,查了很久
detail_url = i.find_element_by_xpath('./a').get_attribute('href')
name = i.find_element_by_xpath('./a/p').get_attribute('title')
detail_page_text = requests.get(url=detail_url,headers = headers).text
print(detail_url,name)
#運(yùn)行完事
get_webhot()
這是這個(gè)結(jié)果

到此這篇關(guān)于selenium與xpath之獲取指定位置的元素的實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)selenium與xpath指定位置元素內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
PyQt實(shí)現(xiàn)異步數(shù)據(jù)庫請求的實(shí)戰(zhàn)記錄
開發(fā)軟件的時(shí)候不可避免要和數(shù)據(jù)庫發(fā)生交互,但是有些 SQL 請求非常耗時(shí),如果在主線程中發(fā)送請求,可能會造成界面卡頓,本文將介紹一種讓數(shù)據(jù)庫請求變得和前端的 ajax 請求一樣簡單,希望對大家有所幫助2023-12-12
Python3.4實(shí)現(xiàn)從HTTP代理網(wǎng)站批量獲取代理并篩選的方法示例
這篇文章主要介紹了Python3.4實(shí)現(xiàn)從HTTP代理網(wǎng)站批量獲取代理并篩選的方法,涉及Python網(wǎng)絡(luò)連接、讀取、判斷等相關(guān)操作技巧,需要的朋友可以參考下2017-09-09
python實(shí)現(xiàn)圖像隨機(jī)裁剪的示例代碼
這篇文章主要介紹了python實(shí)現(xiàn)圖像隨機(jī)裁剪的示例代碼,幫助大家更好的理解和使用python處理圖片,感興趣的朋友可以了解下2020-12-12
淺談pytorch中torch.max和F.softmax函數(shù)的維度解釋
這篇文章主要介紹了淺談pytorch中torch.max和F.softmax函數(shù)的維度解釋,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-06-06
pandas 對日期類型數(shù)據(jù)的處理方法詳解
這篇文章主要介紹了pandas 對日期類型數(shù)據(jù)的處理方法詳解,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-08-08
Django使用paginator插件實(shí)現(xiàn)翻頁功能的實(shí)例
今天小編就為大家分享一篇關(guān)于Django使用paginator插件實(shí)現(xiàn)翻頁功能的實(shí)例,小編覺得內(nèi)容挺不錯(cuò)的,現(xiàn)在分享給大家,具有很好的參考價(jià)值,需要的朋友一起跟隨小編來看看吧2018-10-10
關(guān)于Python函數(shù)參數(shù)的進(jìn)階用法
這篇文章主要給大家分享的是Python函數(shù)參數(shù)的進(jìn)階用法,Python函數(shù)的參數(shù)根據(jù)函數(shù) 在調(diào)用時(shí) 傳參的形式分為關(guān)鍵字參數(shù)和位置參數(shù),下面文章小編就來介紹相關(guān)資料,需要的朋友可以參考一下2021-10-10

