Python selenium頁面加載慢超時的解決方案
開發(fā)環(huán)境:
win10-64 python2.7.16 chrome77
from selenium import webdriver driver = webdriver.Chrome(executable_path='chromedriver.exe') driver.get('http://全部加載完成超級慢的網(wǎng)站') user = 'abc' pwd = '123 driver.find_element_by_id('email').send_keys(user) driver.find_element_by_id('pass').send_keys(pwd)
先看這樣一段代碼
當執(zhí)行了get以后,除非網(wǎng)站全部加載完成,否則你只能乖乖等,什么都不能干,這是整個程序是阻塞的,get不完就別想進行下面操作
這個等待可能是5分鐘或者更久
其實5秒鐘的時候界面就已經(jīng)打開了,然后他還在加載些什么js,img,等待速度超慢的,但是網(wǎng)頁人工是可以操作
那么有沒有什么辦法呢,網(wǎng)上找了一通,給出了很多解決方案
首先是這貨(下面是我復制的):
from selenium import webdriver driver=webdriver.Chrome() driver.set_page_load_timeout(5) driver.set_script_timeout(5)#這兩種設置都進行才有效
try: d.get(s) except: d.execute_script('window.stop()')#這句話好像沒什么軟用
可以在頁面停止加載后繼續(xù)操作了
driver.set_page_load_timeout(5)這玩意一設置,沒問題,5秒后網(wǎng)頁確實停止了,但是driver也死了,不管運行什么都是timeout,還說try一下,driver是死透了,只能重新來
不知道是selenium更新了還是他自己沒測試還是chrome更新了,現(xiàn)在這么設置就是找死的
注意:使用set_page_load_timeout時候,當頁面未加載出任何東西的時候(往往是html源碼未加載),因為超時而停止,會導致driver失效,
后面的driver都不能操作,所以超時設置應該至少保證頁面內容加載出來一部分,設置超時不宜過短,如下圖在頁面此種狀態(tài)下停止加載后driver失效。
不錯,是有人也說了,不能設置太短,會失效,但是我可以說,你設置5分鐘照樣失效,只要超時一次,driver就完蛋,直接翻車
接下來是另一個方法
# coding = utf-8 from selenium import webdriver from selenium.webdriver.support.wait import WebDriverWait import time driver = webdriver.Chrome() class button(): def __call__(self, driver): if driver.find_element_by_id('js_love_url'): return True else: return False driver.implicitly_wait(60) time_start = time.time() driver.get('https://www.163.com/') # driver.find_element_by_id('js_love_url').click() WebDriverWait(driver,2,0.5).until(button()) time_end = time.time() print('access time is : ', time_end - time_start) time.sleep(2) driver.quit()
用WebDriverWait進行操作,不過我測試下來,driver.get()不執(zhí)行完,下面的代碼根本就不會執(zhí)行,所以還是不行
找了各種方法,各種操作,都失敗了,總算今天找到了正確的方法
原理非常簡單:driver.get()這個操作,改成不阻塞的就行了,這樣打開網(wǎng)頁就操作完成了,不需要等他加載
下面我可以直接等待需要的元素出現(xiàn)即可進行操作
配置也是很簡單
from selenium import webdriver from selenium.webdriver.common.desired_capabilities import DesiredCapabilities #get直接返回,不再等待界面加載完成 desired_capabilities = DesiredCapabilities.CHROME desired_capabilities["pageLoadStrategy"] = "none" driver = webdriver.Chrome(executable_path='chromedriver.exe')
配置一個參數(shù),就是頁面加載策略,系統(tǒng)默認是等待,就是等他加載完,直接設置成none,就是不等待,這樣就是get操作完后直接就是結束了
到此這篇關于Python selenium頁面加載慢超時的解決方案的文章就介紹到這了,更多相關Python selenium加載慢內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!
相關文章
Python 中下劃線的幾種用法(_、_xx、xx_、__xx、__xx__)
本文主要介紹了Python 中下劃線的幾種用法(_、_xx、xx_、__xx、__xx__),詳細的介紹了這幾種下劃線的用處,具有一定的參考價值,感興趣的可以了解一下2023-09-09使用Python獲取CPU、內存和硬盤等windowns系統(tǒng)信息的2個例子
這篇文章主要介紹了使用Python獲取CPU、內存和硬盤等windowns系統(tǒng)信息的2個例子,使用的python wmi模塊,需要的朋友可以參考下2014-04-04pytorch?rpc實現(xiàn)分物理機器實現(xiàn)model?parallel的過程詳解
這篇文章主要介紹了pytorch?rpc實現(xiàn)分物理機器實現(xiàn)model?parallel的過程,本文給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下2023-05-05jupyter notebook tensorflow打印device信息實例
這篇文章主要介紹了jupyter notebook tensorflow打印device信息實例,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-04-04Python使用matplotlib的pie函數(shù)繪制餅狀圖功能示例
這篇文章主要介紹了Python使用matplotlib的pie函數(shù)繪制餅狀圖功能,結合實例形式分析了Python使用matplotlib的pie函數(shù)進行餅狀圖繪制的具體操作技巧,注釋中對pie函數(shù)的用法進行了詳細的說明,便于理解,需要的朋友可以參考下2018-01-01