Python selenium 三種等待方式解讀
發(fā)現(xiàn)太多人不會(huì)用等待了,博主今天實(shí)在是忍不住要給大家講講等待的必要性。
很多人在群里問,這個(gè)下拉框定位不到、那個(gè)彈出框定位不到…各種定位不到,其實(shí)大多數(shù)情況下就是兩種問題:1 有frame,2 沒有加等待。殊不知,你的代碼運(yùn)行速度是什么量級(jí)的,而瀏覽器加載渲染速度又是什么量級(jí)的,就好比閃電俠和凹凸曼約好去打怪獸,然后閃電俠打完回來之后問凹凸曼你為啥還在穿鞋沒出門?凹凸曼分分中內(nèi)心一萬只羊駝飛過,欺負(fù)哥速度慢,哥不跟你玩了,拋個(gè)異常撂挑子了。
那么怎么才能照顧到凹凸曼緩慢的加載速度呢?只有一個(gè)辦法,那就是等嘍。說到等,又有三種等法,且聽博主一一道來:
1. 強(qiáng)制等待
第一種也是最簡單粗暴的一種辦法就是強(qiáng)制等待sleep(xx),強(qiáng)制讓閃電俠等xx時(shí)間,不管凹凸曼能不能跟上速度,還是已經(jīng)提前到了,都必須等xx時(shí)間。
看代碼:
# -*- coding: utf-8 -*- from selenium import webdriver from time import sleep driver = webdriver.Firefox() driver.get('https://huilansame.github.io') sleep(3) # 強(qiáng)制等待3秒再執(zhí)行下一步 print driver.current_url driver.quit()
這種叫強(qiáng)制等待,不管你瀏覽器是否加載完了,程序都得等待3秒,3秒一到,繼續(xù)執(zhí)行下面的代碼,作為調(diào)試很有用,有時(shí)候也可以在代碼里這樣等待,不過不建議總用這種等待方式,太死板,嚴(yán)重影響程序執(zhí)行速度。
2. 隱性等待
第二種辦法叫隱性等待,implicitly_wait(xx),隱性等待的意義是:閃電俠和凹凸曼約定好,不論閃電俠去哪兒,都要等凹凸曼xx秒,如果凹凸曼在這段時(shí)間內(nèi)來了,則倆人立即出發(fā)去打怪獸,如果凹凸曼在規(guī)定時(shí)間內(nèi)沒到,則閃電俠自己去,那自然就等著凹凸曼給你拋異常吧。
看代碼:
# -*- coding: utf-8 -*- from selenium import webdriver driver = webdriver.Firefox() driver.implicitly_wait(30) # 隱性等待,最長等30秒 driver.get('https://huilansame.github.io') print driver.current_url driver.quit()
隱形等待是設(shè)置了一個(gè)最長等待時(shí)間,如果在規(guī)定時(shí)間內(nèi)網(wǎng)頁加載完成,則執(zhí)行下一步,否則一直等到時(shí)間截止,然后執(zhí)行下一步。注意這里有一個(gè)弊端,那就是程序會(huì)一直等待整個(gè)頁面加載完成,也就是一般情況下你看到瀏覽器標(biāo)簽欄那個(gè)小圈不再轉(zhuǎn),才會(huì)執(zhí)行下一步,但有時(shí)候頁面想要的元素早就在加載完成了,但是因?yàn)閭€(gè)別js之類的東西特別慢,我仍得等到頁面全部完成才能執(zhí)行下一步,我想等我要的元素出來之后就下一步怎么辦?有辦法,這就要看selenium提供的另一種等待方式——顯性等待wait了。
需要特別說明的是:隱性等待對(duì)整個(gè)driver的周期都起作用,所以只要設(shè)置一次即可,我曾看到有人把隱性等待當(dāng)成了sleep在用,走哪兒都來一下…
3. 顯性等待
第三種辦法就是顯性等待,WebDriverWait,配合該類的until()和until_not()方法,就能夠根據(jù)判斷條件而進(jìn)行靈活地等待了。它主要的意思就是:程序每隔xx秒看一眼,如果條件成立了,則執(zhí)行下一步,否則繼續(xù)等待,直到超過設(shè)置的最長時(shí)間,然后拋出TimeoutException。
先看個(gè)代碼示例:
# -*- coding: utf-8 -*- from selenium import webdriver from selenium.webdriver.support.wait import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.common.by import By driver = webdriver.Firefox() driver.implicitly_wait(10) # 隱性等待和顯性等待可以同時(shí)用,但要注意:等待的最長時(shí)間取兩者之中的大者 driver.get('https://huilansame.github.io') locator = (By.LINK_TEXT, 'CSDN') try: WebDriverWait(driver, 20, 0.5).until(EC.presence_of_element_located(locator)) print driver.find_element_by_link_text('CSDN').get_attribute('href') finally: driver.close()
上例中,我們?cè)O(shè)置了隱性等待和顯性等待,在其他操作中,隱性等待起決定性作用,在WebDriverWait..中顯性等待起主要作用,但要注意的是:最長的等待時(shí)間取決于兩者之間的大者,此例中為20,如果隱性等待時(shí)間 > 顯性等待時(shí)間,則該句代碼的最長等待時(shí)間等于隱性等待時(shí)間。
我們主要用到了WebDriverWait類與expected_conditions模塊,下面博主帶大家細(xì)看一下這兩個(gè)模塊:
WebDriverWait
wait模塊的WebDriverWait類是顯性等待類,先看下它有哪些參數(shù)與方法:
selenium.webdriver.support.wait.WebDriverWait(類) __init__ driver: 傳入WebDriver實(shí)例,即我們上例中的driver timeout: 超時(shí)時(shí)間,等待的最長時(shí)間(同時(shí)要考慮隱性等待時(shí)間) poll_frequency: 調(diào)用until或until_not中的方法的間隔時(shí)間,默認(rèn)是0.5秒 ignored_exceptions: 忽略的異常,如果在調(diào)用until或until_not的過程中拋出這個(gè)元組中的異常, 則不中斷代碼,繼續(xù)等待,如果拋出的是這個(gè)元組外的異常,則中斷代碼,拋出異常。默認(rèn)只有NoSuchElementException。 until method: 在等待期間,每隔一段時(shí)間調(diào)用這個(gè)傳入的方法,直到返回值不是False message: 如果超時(shí),拋出TimeoutException,將message傳入異常 until_not 與until相反,until是當(dāng)某元素出現(xiàn)或什么條件成立則繼續(xù)執(zhí)行, until_not是當(dāng)某元素消失或什么條件不成立則繼續(xù)執(zhí)行,參數(shù)也相同,不再贅述。 method message
看了以上內(nèi)容基本上很清楚了,調(diào)用方法如下:
WebDriverWait(driver, 超時(shí)時(shí)長, 調(diào)用頻率, 忽略異常).until(可執(zhí)行方法, 超時(shí)時(shí)返回的信息)
這里需要特別注意的是until或until_not中的可執(zhí)行方法method參數(shù),很多人傳入了WebElement對(duì)象,如下:
WebDriverWait(driver, 10).until(driver.find_element_by_id('kw')) # 錯(cuò)誤
這是錯(cuò)誤的用法,這里的參數(shù)一定要是可以調(diào)用的,即這個(gè)對(duì)象一定有 __call__() 方法,否則會(huì)拋出異常:
TypeError: 'xxx' object is not callable
在這里,你可以用selenium提供的 expected_conditions 模塊中的各種條件,也可以用WebElement的 is_displayed() 、is_enabled()、is_selected() 方法,或者用自己封裝的方法都可以,那么接下來我們看一下selenium提供的條件有哪些:
expected_conditions
expected_conditions是selenium的一個(gè)模塊,其中包含一系列可用于判斷的條件: selenium.webdriver.support.expected_conditions(模塊) 這兩個(gè)條件類驗(yàn)證title,驗(yàn)證傳入的參數(shù)title是否等于或包含于driver.title title_is title_contains 這兩個(gè)人條件驗(yàn)證元素是否出現(xiàn),傳入的參數(shù)都是元組類型的locator,如(By.ID, 'kw') 顧名思義,一個(gè)只要一個(gè)符合條件的元素加載出來就通過;另一個(gè)必須所有符合條件的元素都加載出來才行 presence_of_element_located presence_of_all_elements_located 這三個(gè)條件驗(yàn)證元素是否可見,前兩個(gè)傳入?yún)?shù)是元組類型的locator,第三個(gè)傳入WebElement 第一個(gè)和第三個(gè)其實(shí)質(zhì)是一樣的 visibility_of_element_located invisibility_of_element_located visibility_of 這兩個(gè)人條件判斷某段文本是否出現(xiàn)在某元素中,一個(gè)判斷元素的text,一個(gè)判斷元素的value text_to_be_present_in_element text_to_be_present_in_element_value 這個(gè)條件判斷frame是否可切入,可傳入locator元組或者直接傳入定位方式:id、name、index或WebElement frame_to_be_available_and_switch_to_it 這個(gè)條件判斷是否有alert出現(xiàn) alert_is_present 這個(gè)條件判斷元素是否可點(diǎn)擊,傳入locator element_to_be_clickable 這四個(gè)條件判斷元素是否被選中,第一個(gè)條件傳入WebElement對(duì)象,第二個(gè)傳入locator元組 第三個(gè)傳入WebElement對(duì)象以及狀態(tài),相等返回True,否則返回False 第四個(gè)傳入locator以及狀態(tài),相等返回True,否則返回False element_to_be_selected element_located_to_be_selected element_selection_state_to_be element_located_selection_state_to_be 最后一個(gè)條件判斷一個(gè)元素是否仍在DOM中,傳入WebElement對(duì)象,可以判斷頁面是否刷新了 staleness_of
上面是所有17個(gè)condition,與until、until_not組合能夠?qū)崿F(xiàn)很多判斷,如果能自己靈活封裝,將會(huì)大大提高腳本的穩(wěn)定性。
今天就分享這些內(nèi)容,有什么問題可以留言給我交流,希望能幫助到有需要的同學(xué)。謝謝大家對(duì)本站的支持!
相關(guān)文章
Python根據(jù)文件后綴實(shí)現(xiàn)文件夾整理
這篇文章主要為大家詳細(xì)介紹了Python如何根據(jù)文件后綴實(shí)現(xiàn)文件夾整理,文中的示例代碼講解詳細(xì),具有一定的借鑒價(jià)值,有需要的可以參考下2024-02-02pytorch人工智能之torch.gather算子用法示例
這篇文章主要介紹了pytorch人工智能之torch.gather算子用法示例,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2022-09-09python實(shí)現(xiàn)將字符串中的數(shù)字提取出來然后求和
這篇文章主要介紹了python實(shí)現(xiàn)將字符串中的數(shù)字提取出來然后求和,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-04-04python中multiprosessing模塊的Pool類中的apply函數(shù)和apply_async函數(shù)的區(qū)別
這篇文章主要介紹了python中multiprosessing模塊的Pool類中的apply函數(shù)和apply_async函數(shù)的區(qū)別、文章圍繞主題的相關(guān)內(nèi)容展開詳細(xì)介紹,具有一定的參考價(jià)值,需要的小伙伴可以參考一下2022-06-06