Selenium+BeautifulSoup+json獲取Script標簽內(nèi)的json數(shù)據(jù)
Selenium爬蟲遇到 數(shù)據(jù)是以 JSON 字符串的形式包裹在 Script 標簽中,
假設Script標簽下代碼如下:
<script id="DATA_INFO" type="application/json" > { "user": { "isLogin": true, "userInfo": { "id": 123456, "nickname": "LiMing", "intro": "人生苦短,我用python" } } } </script>
此時drive.find_elements_by_xpath('//*[@id="DATA_INFO"] 只能定位到元素,但是無法通過.text方法,獲取Script標簽下的json數(shù)據(jù)
from bs4 import BeautifulSoup as bs import json as js #selenium獲取當前頁面源碼 html = drive.page_source #BeautifulSoup轉換頁面源碼 bs=BeautifulSoup(html,'lxml') #獲取Script標簽下的完整json數(shù)據(jù),并通過json加載成字典格式 js_test=js.loads(bs.find("script",{"id":"DATA_INFO"}).get_text()) #獲取Script標簽下的nickname 值 js_tes
到此這篇關于Selenium+BeautifulSoup+json獲取Script標簽內(nèi)的json數(shù)據(jù)的文章就介紹到這了,更多相關Selenium+BeautifulSoup獲取json內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!
相關文章
python requests抓取one推送文字和圖片代碼實例
這篇文章主要介紹了python requests抓取one推送文字和圖片代碼實例,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-11-11python接口自動化之ConfigParser配置文件的使用詳解
這篇文章主要介紹了python接口自動化之ConfigParser配置文件的使用,本文給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-08-08淺析python中numpy包中的argsort函數(shù)的使用
這篇文章主要介紹了python中numpy包中的argsort函數(shù)的使用,argsort()函數(shù)在模塊numpy.core.fromnumeric中,本文通過實例代碼給大家介紹的非常詳細,需要的朋友參考下吧2018-08-08