Selenium+BeautifulSoup+json獲取Script標(biāo)簽內(nèi)的json數(shù)據(jù)
Selenium爬蟲遇到 數(shù)據(jù)是以 JSON 字符串的形式包裹在 Script 標(biāo)簽中,
假設(shè)Script標(biāo)簽下代碼如下:
<script id="DATA_INFO" type="application/json" > { "user": { "isLogin": true, "userInfo": { "id": 123456, "nickname": "LiMing", "intro": "人生苦短,我用python" } } } </script>
此時(shí)drive.find_elements_by_xpath('//*[@id="DATA_INFO"] 只能定位到元素,但是無(wú)法通過(guò).text方法,獲取Script標(biāo)簽下的json數(shù)據(jù)
from bs4 import BeautifulSoup as bs import json as js #selenium獲取當(dāng)前頁(yè)面源碼 html = drive.page_source #BeautifulSoup轉(zhuǎn)換頁(yè)面源碼 bs=BeautifulSoup(html,'lxml') #獲取Script標(biāo)簽下的完整json數(shù)據(jù),并通過(guò)json加載成字典格式 js_test=js.loads(bs.find("script",{"id":"DATA_INFO"}).get_text()) #獲取Script標(biāo)簽下的nickname 值 js_tes
到此這篇關(guān)于Selenium+BeautifulSoup+json獲取Script標(biāo)簽內(nèi)的json數(shù)據(jù)的文章就介紹到這了,更多相關(guān)Selenium+BeautifulSoup獲取json內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Python基礎(chǔ)之面向?qū)ο筮M(jìn)階詳解
這篇文章主要為大家詳細(xì)介紹了Python基礎(chǔ)之面向?qū)ο筮M(jìn)階,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下,希望能夠給你帶來(lái)幫助2022-02-02python requests抓取one推送文字和圖片代碼實(shí)例
這篇文章主要介紹了python requests抓取one推送文字和圖片代碼實(shí)例,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-11-11pytorch 模型的train模式與eval模式實(shí)例
今天小編就為大家分享一篇pytorch 模型的train模式與eval模式實(shí)例,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-02-02pytorch如何凍結(jié)某層參數(shù)的實(shí)現(xiàn)
這篇文章主要介紹了pytorch如何凍結(jié)某層參數(shù)的實(shí)現(xiàn),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-01-01python接口自動(dòng)化之ConfigParser配置文件的使用詳解
這篇文章主要介紹了python接口自動(dòng)化之ConfigParser配置文件的使用,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-08-08淺析python中numpy包中的argsort函數(shù)的使用
這篇文章主要介紹了python中numpy包中的argsort函數(shù)的使用,argsort()函數(shù)在模塊numpy.core.fromnumeric中,本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì),需要的朋友參考下吧2018-08-08