python3+selenium獲取頁面加載的所有靜態(tài)資源文件鏈接操作

更新時(shí)間：2020年05月04日 17:16:11 作者：舉個(gè)栗子不容易

這篇文章主要介紹了python3+selenium獲取頁面加載的所有靜態(tài)資源文件鏈接操作，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧

軟件版本：

python 3.7.2

selenium 3.141.0

pycharm 2018.3.5

具體實(shí)現(xiàn)流程如下，廢話不多說，直接上代碼：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities

d = DesiredCapabilities.CHROME
chrome_options = Options()
#使用無頭瀏覽器
chrome_options.add_argument('--headless')
chrome_options.add_argument('--user-agent=Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36')
#瀏覽器啟動(dòng)默認(rèn)最大化
chrome_options.add_argument("--start-maximized");
#該處替換自己的chrome驅(qū)動(dòng)地址
browser = webdriver.Chrome("D://googleDever//chromedriver.exe",chrome_options=chrome_options,desired_capabilities=d)
browser.set_page_load_timeout(150)
browser.get("https://www.xxx.com")
#靜態(tài)資源鏈接存儲(chǔ)集合
urls = []
#獲取靜態(tài)資源有效鏈接
for log in browser.get_log('performance'):
	 if 'message' not in log:
			continue
	 log_entry = json.loads(log['message'])
	 try:
		#該處過濾了data:開頭的base64編碼引用和document頁面鏈接
			if "data:" not in log_entry['message']['params']['request']['url'] and 'Document' not in log_entry['message']['params']['type']:
				urls.append(log_entry['message']['params']['request']['url'])
	 except Exception as e:
			pass
 print(urls)

打印結(jié)果為頁面渲染時(shí)加載的靜態(tài)資源文件鏈接：

[http://www.xxx.com/aaa.js,http://www.xxx.com/css.css]

以上代碼為selenium獲取頁面加載過程中預(yù)加載的各類靜態(tài)資源文件鏈接，使用該功能獲取到鏈接后，使用其他插件進(jìn)行可對(duì)資源進(jìn)行下載！

補(bǔ)充知識(shí)：在idea 中python import sys，import requests 報(bào)錯(cuò)

File->Project Structure

project -> sdk -> new -> ok

設(shè)置編譯參數(shù)（主要是設(shè)置和檢查Python JDK是否正確）

以上這篇python3+selenium獲取頁面加載的所有靜態(tài)資源文件鏈接操作就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

數(shù)據(jù)挖掘之Apriori算法詳解和Python實(shí)現(xiàn)代碼分享
這篇文章主要介紹了數(shù)據(jù)挖掘之Apriori算法詳解和Python實(shí)現(xiàn)代碼分享,本文先是對(duì)Apriori算法做了詳細(xì)介紹,然后給出了Python版實(shí)現(xiàn)代碼,需要的朋友可以參考下
2014-11-11
python通過ElementTree操作XML
這篇文章介紹了python通過ElementTree操作XML的方法，文中通過示例代碼介紹的非常詳細(xì)。對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下
2022-07-07
matplotlib quiver箭圖繪制案例
這篇文章主要介紹了matplotlib quiver箭圖繪制案例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
2020-04-04
Flask中jinja2的繼承實(shí)現(xiàn)方法及實(shí)例
在本篇文章里小編給大家分享的是一篇關(guān)于Flask中jinja2的繼承實(shí)現(xiàn)方法及實(shí)例，有興趣的朋友們可以學(xué)習(xí)下。
2021-03-03
python中的split、rsplit、splitlines用法說明
這篇文章主要介紹了python中的split、rsplit、splitlines用法說明，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
2020-10-10
Django shell調(diào)試models輸出的SQL語句方法
今天小編就為大家分享一篇Django shell調(diào)試models輸出的SQL語句方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
2019-08-08
基于Flask+websocket實(shí)現(xiàn)一個(gè)在線聊天室
在今天的互聯(lián)網(wǎng)時(shí)代,實(shí)時(shí)通信成為了許多應(yīng)用和服務(wù)的核心特色,在本文中,我們將介紹如何使用 Flask 和 Websockets 通過 Flask-SocketIO 框架創(chuàng)建一個(gè)簡(jiǎn)單的在線聊天室,感興趣的可以跟隨小編一起了解下
2023-09-09
Python列表解析配合if else的方法
今天小編就為大家分享一篇Python列表解析配合if else的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
2018-06-06
用Python實(shí)現(xiàn)校園通知更新提醒功能
今天小編就為大家分享一篇用Python實(shí)現(xiàn)校園通知更新提醒功能，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
2019-11-11
Django 多語言教程的實(shí)現(xiàn)(i18n)
這篇文章主要介紹了Django 多語言教程的實(shí)現(xiàn)(i18n)，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧
2018-07-07