Python3爬蟲(chóng)中Selenium的用法詳解

更新時(shí)間：2020年07月10日 14:31:46 作者：愛(ài)喝馬黛茶的安東尼

在本篇內(nèi)容里小編給大家分享了關(guān)于Python3爬蟲(chóng)中Selenium的用法詳解內(nèi)容，需要的朋友們可以參考下。

Selenium是一個(gè)自動(dòng)化測(cè)試工具，利用它可以驅(qū)動(dòng)瀏覽器執(zhí)行特定的動(dòng)作，如點(diǎn)擊、下拉等操作，同時(shí)還可以獲取瀏覽器當(dāng)前呈現(xiàn)的頁(yè)面的源代碼，做到可見(jiàn)即可爬。對(duì)于一些JavaScript動(dòng)態(tài)渲染的頁(yè)面來(lái)說(shuō)，此種抓取方式非常有效。本節(jié)中，就讓我們來(lái)感受一下它的強(qiáng)大之處吧。

1. 準(zhǔn)備工作

本節(jié)以Chrome為例來(lái)講解Selenium的用法。在開(kāi)始之前，請(qǐng)確保已經(jīng)正確安裝好了Chrome瀏覽器并配置好了ChromeDriver。另外，還需要正確安裝好Python的Selenium庫(kù)，詳細(xì)的安裝和配置過(guò)程可以參考第1章。

2. 基本使用

準(zhǔn)備工作做好之后，首先來(lái)大體看一下Selenium有一些怎樣的功能。示例如下：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
browser = webdriver.Chrome()
try:
    browser.get('https://www.baidu.com')
    input = browser.find_element_by_id('kw')
    input.send_keys('Python')
    input.send_keys(Keys.ENTER)
    wait = WebDriverWait(browser, 10)
    wait.until(EC.presence_of_element_located((By.ID, 'content_left')))
    print(browser.current_url)
    print(browser.get_cookies())
    print(browser.page_source)
finally:
    browser.close()

運(yùn)行代碼后發(fā)現(xiàn)，會(huì)自動(dòng)彈出一個(gè)Chrome瀏覽器。瀏覽器首先會(huì)跳轉(zhuǎn)到百度，然后在搜索框中輸入Python，接著跳轉(zhuǎn)到搜索結(jié)果頁(yè)，如圖7-1所示。

圖7-1 運(yùn)行結(jié)果

搜索結(jié)果加載出來(lái)后，控制臺(tái)分別會(huì)輸出當(dāng)前的URL、當(dāng)前的Cookies和網(wǎng)頁(yè)源代碼：

https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=0&rsv_idx=1&tn=baidu&wd=Python&rsv_pq=c94d0df9000a72d0&rsv_t= 
07099xvun1ZmC0bf6eQvygJ43IUTTUOl5FCJVPgwG2YREs70GplJjH2F%2BCQ&rqlang=cn&rsv_enter=1&rsv_sug3=6&rsv_sug2=
0&inputT=87&rsv_sug4=87
[{'secure': False, 'value': 'B490B5EBF6F3CD402E515D22BCDA1598', 'domain': '.baidu.com', 'path': '/', 'httpOnly': 
False, 'name': 'BDORZ', 'expiry': 1491688071.707553}, {'secure': False, 'value': '22473_1441_21084_17001', 
'domain': '.baidu.com', 'path': '/', 'httpOnly': False, 'name': 'H_PS_PSSID'}, {'secure': False, 'value': 
'12883875381399993259_00_0_I_R_2_0303_C02F_N_I_I_0', 'domain': '.www.baidu.com', 'path': '/', 'httpOnly': False, 
'name': '__bsi', 'expiry': 1491601676.69722}]
<!DOCTYPE html><!--STATUS OK-->...</html>

源代碼過(guò)長(zhǎng)，在此省略。可以看到，我們得到的當(dāng)前URL、Cookies和源代碼都是瀏覽器中的真實(shí)內(nèi)容。

所以說(shuō)，如果用Selenium來(lái)驅(qū)動(dòng)瀏覽器加載網(wǎng)頁(yè)的話(huà)，就可以直接拿到JavaScript渲染的結(jié)果了，不用擔(dān)心使用的是什么加密系統(tǒng)。

下面來(lái)詳細(xì)了解一下Selenium的用法。

3. 聲明瀏覽器對(duì)象

Selenium支持非常多的瀏覽器，如Chrome、Firefox、Edge等，還有Android、BlackBerry等手機(jī)端的瀏覽器。另外，也支持無(wú)界面瀏覽器PhantomJS。

此外，我們可以用如下方式初始化：

from selenium import webdriver
browser = webdriver.Chrome()
browser = webdriver.Firefox()
browser = webdriver.Edge()
browser = webdriver.PhantomJS()
browser = webdriver.Safari()

這樣就完成了瀏覽器對(duì)象的初始化并將其賦值為browser對(duì)象。接下來(lái)，我們要做的就是調(diào)用browser對(duì)象，讓其執(zhí)行各個(gè)動(dòng)作以模擬瀏覽器操作。

4. 訪(fǎng)問(wèn)頁(yè)面

我們可以用get()方法來(lái)請(qǐng)求網(wǎng)頁(yè)，參數(shù)傳入鏈接URL即可。比如，這里用get()方法訪(fǎng)問(wèn)淘寶，然后打印出源代碼，代碼如下：

from selenium import webdriver
browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
print(browser.page_source)
browser.close()

運(yùn)行后發(fā)現(xiàn)，彈出了Chrome瀏覽器并且自動(dòng)訪(fǎng)問(wèn)了淘寶，然后控制臺(tái)輸出了淘寶頁(yè)面的源代碼，隨后瀏覽器關(guān)閉。

通過(guò)這幾行簡(jiǎn)單的代碼，我們可以實(shí)現(xiàn)瀏覽器的驅(qū)動(dòng)并獲取網(wǎng)頁(yè)源碼，非常便捷。

5. 查找節(jié)點(diǎn)

Selenium可以驅(qū)動(dòng)瀏覽器完成各種操作，比如填充表單、模擬點(diǎn)擊等。比如，我們想要完成向某個(gè)輸入框輸入文字的操作，總需要知道這個(gè)輸入框在哪里吧？而Selenium提供了一系列查找節(jié)點(diǎn)的方法，我們可以用這些方法來(lái)獲取想要的節(jié)點(diǎn)，以便下一步執(zhí)行一些動(dòng)作或者提取信息。

單個(gè)節(jié)點(diǎn)

比如，想要從淘寶頁(yè)面中提取搜索框這個(gè)節(jié)點(diǎn)，首先要觀(guān)察它的源代碼，如圖7-2所示。

圖7-2 源代碼

可以發(fā)現(xiàn)，它的id是q，name也是q。此外，還有許多其他屬性，此時(shí)我們就可以用多種方式獲取它了。比如，find_element_by_name()是根據(jù)name值獲取，find_element_by_id()是根據(jù)id獲取。另外，還有根據(jù)XPath、CSS選擇器等獲取的方式。

我們用代碼實(shí)現(xiàn)一下：

from selenium import webdriver
browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
input_first = browser.find_element_by_id('q')
input_second = browser.find_element_by_css_selector('#q')
input_third = browser.find_element_by_xpath('//*[@id="q"]')
print(input_first, input_second, input_third)
browser.close()

這里我們使用3種方式獲取輸入框，分別是根據(jù)ID、CSS選擇器和XPath獲取，它們返回的結(jié)果完全一致。運(yùn)行結(jié)果如下：

<selenium.webdriver.remote.webelement.WebElement (session="5e53d9e1c8646e44c14c1c2880d424af", element="0.564956309
6161541-1")> 
<selenium.webdriver.remote.webelement.WebElement (session="5e53d9e1c8646e44c14c1c2880d424af", element="0.564956309
6161541-1")> 
<selenium.webdriver.remote.webelement.WebElement (session="5e53d9e1c8646e44c14c1c2880d424af", element="0.564956309
6161541-1")>

可以看到，這3個(gè)節(jié)點(diǎn)都是WebElement類(lèi)型，是完全一致的。

這里列出所有獲取單個(gè)節(jié)點(diǎn)的方法：

find_element_by_id
find_element_by_name
find_element_by_xpath
find_element_by_link_text
find_element_by_partial_link_text
find_element_by_tag_name
find_element_by_class_name
find_element_by_css_selector

另外，Selenium還提供了通用方法find_element()，它需要傳入兩個(gè)參數(shù)：查找方式By和值。實(shí)際上，它就是find_element_by_id()這種方法的通用函數(shù)版本，比如find_element_by_id(id)就等價(jià)于find_element(By.ID, id)，二者得到的結(jié)果完全一致。我們用代碼實(shí)現(xiàn)一下：

from selenium import webdriver
from selenium.webdriver.common.by import By
 
browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
input_first = browser.find_element(By.ID, 'q')
print(input_first)
browser.close()

實(shí)際上，這種查找方式的功能和上面列舉的查找函數(shù)完全一致，不過(guò)參數(shù)更加靈活。

多個(gè)節(jié)點(diǎn)

如果查找的目標(biāo)在網(wǎng)頁(yè)中只有一個(gè)，那么完全可以用find_element()方法。但如果有多個(gè)節(jié)點(diǎn)，再用find_element()方法查找，就只能得到第一個(gè)節(jié)點(diǎn)了。如果要查找所有滿(mǎn)足條件的節(jié)點(diǎn)，需要用find_elements()這樣的方法。注意，在這個(gè)方法的名稱(chēng)中，element多了一個(gè)s，注意區(qū)分。

比如，要查找淘寶左側(cè)導(dǎo)航條的所有條目，如圖7-3所示。

圖7-3 導(dǎo)航欄

就可以這樣來(lái)實(shí)現(xiàn)：

from selenium import webdriver
browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
lis = browser.find_elements_by_css_selector('.service-bd li')
print(lis)
browser.close()

運(yùn)行結(jié)果如下：

[<selenium.webdriver.remote.webelement.WebElement (session="c26290835d4457ebf7d96bfab3740d19", element="0.0922104
4033125603-1")>, <selenium.webdriver.remote.webelement.WebElement (session="c26290835d4457ebf7d96bfab3740d19", 
element="0.09221044033125603-2")>, <selenium.webdriver.remote.webelement.WebElement (session="c26290835d4457ebf7d
96bfab3740d19", element="0.09221044033125603-3")>...<selenium.webdriver.remote.webelement.WebElement 
(session="c26290835d4457ebf7d96bfab3740d19", element="0.09221044033125603-16")>]

這里簡(jiǎn)化了輸出結(jié)果，中間部分省略。

可以看到，得到的內(nèi)容變成了列表類(lèi)型，列表中的每個(gè)節(jié)點(diǎn)都是WebElement類(lèi)型。

也就是說(shuō)，如果我們用find_element()方法，只能獲取匹配的第一個(gè)節(jié)點(diǎn)，結(jié)果是WebElement類(lèi)型。如果用find_elements()方法，則結(jié)果是列表類(lèi)型，列表中的每個(gè)節(jié)點(diǎn)是WebElement類(lèi)型。

這里列出所有獲取多個(gè)節(jié)點(diǎn)的方法：

find_elements_by_id
find_elements_by_name
find_elements_by_xpath
find_elements_by_link_text
find_elements_by_partial_link_text
find_elements_by_tag_name
find_elements_by_class_name
find_elements_by_css_selector

當(dāng)然，我們也可以直接用find_elements()方法來(lái)選擇，這時(shí)可以這樣寫(xiě)：

lis = browser.find_elements(By.CSS_SELECTOR, '.service-bd li')

結(jié)果是完全一致的。

6. 節(jié)點(diǎn)交互

Selenium可以驅(qū)動(dòng)瀏覽器來(lái)執(zhí)行一些操作，也就是說(shuō)可以讓瀏覽器模擬執(zhí)行一些動(dòng)作。比較常見(jiàn)的用法有：輸入文字時(shí)用send_keys()方法，清空文字時(shí)用clear()方法，點(diǎn)擊按鈕時(shí)用click()方法。示例如下：

from selenium import webdriver
import time
browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
input = browser.find_element_by_id('q')
input.send_keys('iPhone')
time.sleep(1)
input.clear()
input.send_keys('iPad')
button = browser.find_element_by_class_name('btn-search')
button.click()

這里首先驅(qū)動(dòng)瀏覽器打開(kāi)淘寶，然后用find_element_by_id()方法獲取輸入框，然后用send_keys()方法輸入iPhone文字，等待一秒后用clear()方法清空輸入框，再次調(diào)用send_keys()方法輸入iPad文字，之后再用find_element_by_class_name()方法獲取搜索按鈕，最后調(diào)用click()方法完成搜索動(dòng)作。

通過(guò)上面的方法，我們就完成了一些常見(jiàn)節(jié)點(diǎn)的動(dòng)作操作，更多的操作可以參見(jiàn)官方文檔的交互動(dòng)作介紹：http://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.remote.webelement。

7. 動(dòng)作鏈

在上面的實(shí)例中，一些交互動(dòng)作都是針對(duì)某個(gè)節(jié)點(diǎn)執(zhí)行的。比如，對(duì)于輸入框，我們就調(diào)用它的輸入文字和清空文字方法；對(duì)于按鈕，就調(diào)用它的點(diǎn)擊方法。其實(shí)，還有另外一些操作，它們沒(méi)有特定的執(zhí)行對(duì)象，比如鼠標(biāo)拖曳、鍵盤(pán)按鍵等，這些動(dòng)作用另一種方式來(lái)執(zhí)行，那就是動(dòng)作鏈。

比如，現(xiàn)在實(shí)現(xiàn)一個(gè)節(jié)點(diǎn)的拖曳操作，將某個(gè)節(jié)點(diǎn)從一處拖曳到另外一處，可以這樣實(shí)現(xiàn)：

from selenium import webdriver
from selenium.webdriver import ActionChains
browser = webdriver.Chrome()
url = 'http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable'
browser.get(url)
browser.switch_to.frame('iframeResult')
source = browser.find_element_by_css_selector('#draggable')
target = browser.find_element_by_css_selector('#droppable')
actions = ActionChains(browser)
actions.drag_and_drop(source, target)
actions.perform()

首先，打開(kāi)網(wǎng)頁(yè)中的一個(gè)拖曳實(shí)例，然后依次選中要拖曳的節(jié)點(diǎn)和拖曳到的目標(biāo)節(jié)點(diǎn)，接著聲明ActionChains對(duì)象并將其賦值為actions變量，然后通過(guò)調(diào)用actions變量的drag_and_drop()方法，再調(diào)用perform()方法執(zhí)行動(dòng)作，此時(shí)就完成了拖曳操作，如圖7-4和圖7-5所示。

圖7-4 拖曳前的頁(yè)面

圖7-5 拖曳后的頁(yè)面

更多的動(dòng)作鏈操作可以參考官方文檔：http://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.common.action_chains。

8. 執(zhí)行JavaScript

對(duì)于某些操作，Selenium API并沒(méi)有提供。比如，下拉進(jìn)度條，它可以直接模擬運(yùn)行JavaScript，此時(shí)使用execute_script()方法即可實(shí)現(xiàn)，代碼如下：

from selenium import webdriver
browser = webdriver.Chrome()
browser.get('https://www.zhihu.com/explore')
browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')
browser.execute_script('alert("To Bottom")')

這里就利用execute_script()方法將進(jìn)度條下拉到最底部，然后彈出alert提示框。

所以說(shuō)有了這個(gè)方法，基本上API沒(méi)有提供的所有功能都可以用執(zhí)行JavaScript的方式來(lái)實(shí)現(xiàn)了。

9. 獲取節(jié)點(diǎn)信息

前面說(shuō)過(guò)，通過(guò)page_source屬性可以獲取網(wǎng)頁(yè)的源代碼，接著就可以使用解析庫(kù)（如正則表達(dá)式、Beautiful Soup、pyquery等）來(lái)提取信息了。

不過(guò)，既然Selenium已經(jīng)提供了選擇節(jié)點(diǎn)的方法，返回的是WebElement類(lèi)型，那么它也有相關(guān)的方法和屬性來(lái)直接提取節(jié)點(diǎn)信息，如屬性、文本等。這樣的話(huà)，我們就可以不用通過(guò)解析源代碼來(lái)提取信息了，非常方便。

接下來(lái)，就看看通過(guò)怎樣的方式來(lái)獲取節(jié)點(diǎn)信息吧。

獲取屬性

我們可以使用get_attribute()方法來(lái)獲取節(jié)點(diǎn)的屬性，但是其前提是先選中這個(gè)節(jié)點(diǎn)，示例如下：

from selenium import webdriver
from selenium.webdriver import ActionChains
browser = webdriver.Chrome()
url = 'https://www.zhihu.com/explore'
browser.get(url)
logo = browser.find_element_by_id('zh-top-link-logo')
print(logo)
print(logo.get_attribute('class'))

運(yùn)行之后，程序便會(huì)驅(qū)動(dòng)瀏覽器打開(kāi)知乎頁(yè)面，然后獲取知乎的logo節(jié)點(diǎn)，最后打印出它的class。

控制臺(tái)的輸出結(jié)果如下：

<selenium.webdriver.remote.webelement.WebElement (session="e08c0f28d7f44d75ccd50df6bb676104", element="0.723639066
0048155-1")>
zu-top-link-logo

通過(guò)get_attribute()方法，然后傳入想要獲取的屬性名，就可以得到它的值了。

獲取文本值

每個(gè)WebElement節(jié)點(diǎn)都有text屬性，直接調(diào)用這個(gè)屬性就可以得到節(jié)點(diǎn)內(nèi)部的文本信息，這相當(dāng)于Beautiful Soup的get_text()方法、pyquery的text()方法，示例如下：

from selenium import webdriver
browser = webdriver.Chrome()
url = 'https://www.zhihu.com/explore'
browser.get(url)
input = browser.find_element_by_class_name('zu-top-add-question')
print(input.text)

這里依然先打開(kāi)知乎頁(yè)面，然后獲取“提問(wèn)”按鈕這個(gè)節(jié)點(diǎn)，再將其文本值打印出來(lái)。

控制臺(tái)的輸出結(jié)果如下：

提問(wèn)

獲取id、位置、標(biāo)簽名和大小

另外，WebElement節(jié)點(diǎn)還有一些其他屬性，比如id屬性可以獲取節(jié)點(diǎn)id，location屬性可以獲取該節(jié)點(diǎn)在頁(yè)面中的相對(duì)位置，tag_name屬性可以獲取標(biāo)簽名稱(chēng)，size屬性可以獲取節(jié)點(diǎn)的大小，也就是寬高，這些屬性有時(shí)候還是很有用的。示例如下：

from selenium import webdriver
browser = webdriver.Chrome()
url = 'https://www.zhihu.com/explore'
browser.get(url)
input = browser.find_element_by_class_name('zu-top-add-question')
print(input.id)
print(input.location)
print(input.tag_name)
print(input.size)

這里首先獲得“提問(wèn)”按鈕這個(gè)節(jié)點(diǎn)，然后調(diào)用其id、location、tag_name、size屬性來(lái)獲取對(duì)應(yīng)的屬性值。

10. 切換Frame

我們知道網(wǎng)頁(yè)中有一種節(jié)點(diǎn)叫作iframe，也就是子Frame，相當(dāng)于頁(yè)面的子頁(yè)面，它的結(jié)構(gòu)和外部網(wǎng)頁(yè)的結(jié)構(gòu)完全一致。Selenium打開(kāi)頁(yè)面后，它默認(rèn)是在父級(jí)Frame里面操作，而此時(shí)如果頁(yè)面中還有子Frame，它是不能獲取到子Frame里面的節(jié)點(diǎn)的。這時(shí)就需要使用switch_to.frame()方法來(lái)切換Frame。示例如下：

import time
from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException
browser = webdriver.Chrome()
url = 'http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable'
browser.get(url)
browser.switch_to.frame('iframeResult')
try:
    logo = browser.find_element_by_class_name('logo')
except NoSuchElementException:
    print('NO LOGO')
browser.switch_to.parent_frame()
logo = browser.find_element_by_class_name('logo')
print(logo)
print(logo.text)

控制臺(tái)的輸出如下：

NO LOGO
<selenium.webdriver.remote.webelement.WebElement (session="4bb8ac03ced4ecbdefef03ffdc0e4ccd", element="0.1379261132
0464965-2")>
RUNOOB.COM

這里還是以前面演示動(dòng)作鏈操作的網(wǎng)頁(yè)為實(shí)例，首先通過(guò)switch_to.frame()方法切換到子Frame里面，然后嘗試獲取父級(jí)Frame里的logo節(jié)點(diǎn)（這是不能找到的），如果找不到的話(huà)，就會(huì)拋出NoSuchElementException異常，異常被捕捉之后，就會(huì)輸出NO LOGO。接下來(lái)，重新切換回父級(jí)Frame，然后再次重新獲取節(jié)點(diǎn)，發(fā)現(xiàn)此時(shí)可以成功獲取了。

所以，當(dāng)頁(yè)面中包含子Frame時(shí)，如果想獲取子Frame中的節(jié)點(diǎn)，需要先調(diào)用switch_to.frame()方法切換到對(duì)應(yīng)的Frame，然后再進(jìn)行操作。

11. 延時(shí)等待

在Selenium中，get()方法會(huì)在網(wǎng)頁(yè)框架加載結(jié)束后結(jié)束執(zhí)行，此時(shí)如果獲取page_source，可能并不是瀏覽器完全加載完成的頁(yè)面，如果某些頁(yè)面有額外的Ajax請(qǐng)求，我們?cè)诰W(wǎng)頁(yè)源代碼中也不一定能成功獲取到。所以，這里需要延時(shí)等待一定時(shí)間，確保節(jié)點(diǎn)已經(jīng)加載出來(lái)。

這里等待的方式有兩種：一種是隱式等待，一種是顯式等待。

隱式等待

當(dāng)使用隱式等待執(zhí)行測(cè)試的時(shí)候，如果Selenium沒(méi)有在DOM中找到節(jié)點(diǎn)，將繼續(xù)等待，超出設(shè)定時(shí)間后，則拋出找不到節(jié)點(diǎn)的異常。換句話(huà)說(shuō)，當(dāng)查找節(jié)點(diǎn)而節(jié)點(diǎn)并沒(méi)有立即出現(xiàn)的時(shí)候，隱式等待將等待一段時(shí)間再查找DOM，默認(rèn)的時(shí)間是0。示例如下：

from selenium import webdriver
browser = webdriver.Chrome()
browser.implicitly_wait(10)
browser.get('https://www.zhihu.com/explore')
input = browser.find_element_by_class_name('zu-top-add-question')
print(input)

這里我們用implicitly_wait()方法實(shí)現(xiàn)了隱式等待。

顯式等待

隱式等待的效果其實(shí)并沒(méi)有那么好，因?yàn)槲覀冎灰?guī)定了一個(gè)固定時(shí)間，而頁(yè)面的加載時(shí)間會(huì)受到網(wǎng)絡(luò)條件的影響。

這里還有一種更合適的顯式等待方法，它指定要查找的節(jié)點(diǎn)，然后指定一個(gè)最長(zhǎng)等待時(shí)間。如果在規(guī)定時(shí)間內(nèi)加載出來(lái)了這個(gè)節(jié)點(diǎn)，就返回查找的節(jié)點(diǎn)；如果到了規(guī)定時(shí)間依然沒(méi)有加載出該節(jié)點(diǎn)，則拋出超時(shí)異常。示例如下：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
browser = webdriver.Chrome()
browser.get('https://www.taobao.com/')
wait = WebDriverWait(browser, 10)
input = wait.until(EC.presence_of_element_located((By.ID, 'q')))
button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '.btn-search')))
print(input, button)

這里首先引入WebDriverWait這個(gè)對(duì)象，指定最長(zhǎng)等待時(shí)間，然后調(diào)用它的until()方法，傳入要等待條件expected_conditions。比如，這里傳入了presence_of_element_located這個(gè)條件，代表節(jié)點(diǎn)出現(xiàn)的意思，其參數(shù)是節(jié)點(diǎn)的定位元組，也就是ID為q的節(jié)點(diǎn)搜索框。

這樣可以做到的效果就是，在10秒內(nèi)如果ID為q的節(jié)點(diǎn)（即搜索框）成功加載出來(lái)，就返回該節(jié)點(diǎn)；如果超過(guò)10秒還沒(méi)有加載出來(lái)，就拋出異常。

對(duì)于按鈕，可以更改一下等待條件，比如改為element_to_be_clickable，也就是可點(diǎn)擊，所以查找按鈕時(shí)查找CSS選擇器為.btn-search的按鈕，如果10秒內(nèi)它是可點(diǎn)擊的，也就是成功加載出來(lái)了，就返回這個(gè)按鈕節(jié)點(diǎn)；如果超過(guò)10秒還不可點(diǎn)擊，也就是沒(méi)有加載出來(lái)，就拋出異常。

運(yùn)行代碼，在網(wǎng)速較佳的情況下是可以成功加載出來(lái)的。

控制臺(tái)的輸出如下：

<selenium.webdriver.remote.webelement.WebElement (session="07dd2fbc2d5b1ce40e82b9754aba8fa8", element="0.564264629
4074107-1")>
<selenium.webdriver.remote.webelement.WebElement (session="07dd2fbc2d5b1ce40e82b9754aba8fa8", element="0.564264629
4074107-2")>

可以看到，控制臺(tái)成功輸出了兩個(gè)節(jié)點(diǎn)，它們都是WebElement類(lèi)型。

如果網(wǎng)絡(luò)有問(wèn)題，10秒內(nèi)沒(méi)有成功加載，那就拋出TimeoutException異常，此時(shí)控制臺(tái)的輸出如下：

TimeoutException Traceback (most recent call last)
<ipython-input-4-f3d73973b223> in <module>()
      7 browser.get('https://www.taobao.com/')
      8 wait = WebDriverWait(browser, 10)
----> 9 input = wait.until(EC.presence_of_element_located((By.ID, 'q')))

關(guān)于等待條件，其實(shí)還有很多，比如判斷標(biāo)題內(nèi)容，判斷某個(gè)節(jié)點(diǎn)內(nèi)是否出現(xiàn)了某文字等。表7-1列出了所有的等待條件。

表7-1 等待條件及其含義

關(guān)于更多等待條件的參數(shù)及用法，可以參考官方文檔：http://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.support.expected_conditions。

12. 前進(jìn)和后退

平常使用瀏覽器時(shí)都有前進(jìn)和后退功能，Selenium也可以完成這個(gè)操作，它使用back()方法后退，使用forward()方法前進(jìn)。示例如下：

import time
from selenium import webdriver
browser = webdriver.Chrome()
browser.get('https://www.baidu.com/')
browser.get('https://www.taobao.com/')
browser.get('https://www.python.org/')
browser.back()
time.sleep(1)
browser.forward()
browser.close()

這里我們連續(xù)訪(fǎng)問(wèn)3個(gè)頁(yè)面，然后調(diào)用back()方法回到第二個(gè)頁(yè)面，接下來(lái)再調(diào)用forward()方法又可以前進(jìn)到第三個(gè)頁(yè)面。

13. Cookies

使用Selenium，還可以方便地對(duì)Cookies進(jìn)行操作，例如獲取、添加、刪除Cookies等。示例如下：

from selenium import webdriver
browser = webdriver.Chrome()
browser.get('https://www.zhihu.com/explore')
print(browser.get_cookies())
browser.add_cookie({'name': 'name', 'domain': 'www.zhihu.com', 'value': 'germey'})
print(browser.get_cookies())
browser.delete_all_cookies()
print(browser.get_cookies())

首先，我們?cè)L問(wèn)了知乎。加載完成后，瀏覽器實(shí)際上已經(jīng)生成Cookies了。接著，調(diào)用get_cookies()方法獲取所有的Cookies。然后，我們添加一個(gè)Cookie，這里傳入一個(gè)字典，有name、domain和value等內(nèi)容。接下來(lái)，再次獲取所有的Cookies。可以發(fā)現(xiàn)，結(jié)果就多了這一項(xiàng)新加的Cookie。最后，調(diào)用delete_all_cookies()方法刪除所有的Cookies。再重新獲取，發(fā)現(xiàn)結(jié)果就為空了。

控制臺(tái)的輸出如下：

[{'secure': False, 'value': '"NGM0ZTM5NDAwMWEyNDQwNDk5ODlkZWY3OTkxY2I0NDY=|1491604091|236e34290a6f407bfbb517888
849ea509ac366d0"', 'domain': '.zhihu.com', 'path': '/', 'httpOnly': False, 'name': 'l_cap_id', 'expiry': 
1494196091.403418}]
[{'secure': False, 'value': 'germey', 'domain': '.www.zhihu.com', 'path': '/', 'httpOnly': False, 'name': 
'name'}, 
{'secure': False, 'value': '"NGM0ZTM5NDAwMWEyNDQwNDk5ODlkZWY3OTkxY2I0NDY=|1491604091|236e34290a6f407bfbb517888849
ea509ac366d0"', 'domain': '.zhihu.com', 'path': '/', 'httpOnly': False, 'name': 'l_cap_id', 'expiry': 
1494196091.403418}]
[]

14. 選項(xiàng)卡管理

在訪(fǎng)問(wèn)網(wǎng)頁(yè)的時(shí)候，會(huì)開(kāi)啟一個(gè)個(gè)選項(xiàng)卡。在Selenium中，我們也可以對(duì)選項(xiàng)卡進(jìn)行操作。示例如下：

import time
from selenium import webdriver
browser = webdriver.Chrome()
browser.get('https://www.baidu.com')
browser.execute_script('window.open()')
print(browser.window_handles)
browser.switch_to_window(browser.window_handles[1])
browser.get('https://www.taobao.com')
time.sleep(1)
browser.switch_to_window(browser.window_handles[0])
browser.get('https://python.org')

控制臺(tái)的輸出如下：

['CDwindow-4f58e3a7-7167-4587-bedf-9cd8c867f435', 'CDwindow-6e05f076-6d77-453a-a36c-32baacc447df']

首先訪(fǎng)問(wèn)了百度，然后調(diào)用了execute_script()方法，這里傳入window.open()這個(gè)JavaScript語(yǔ)句新開(kāi)啟一個(gè)選項(xiàng)卡。接下來(lái)，我們想切換到該選項(xiàng)卡。這里調(diào)用window_handles屬性獲取當(dāng)前開(kāi)啟的所有選項(xiàng)卡，返回的是選項(xiàng)卡的代號(hào)列表。要想切換選項(xiàng)卡，只需要調(diào)用switch_to_window()方法即可，其中參數(shù)是選項(xiàng)卡的代號(hào)。這里我們將第二個(gè)選項(xiàng)卡代號(hào)傳入，即跳轉(zhuǎn)到第二個(gè)選項(xiàng)卡，接下來(lái)在第二個(gè)選項(xiàng)卡下打開(kāi)一個(gè)新頁(yè)面，然后切換回第一個(gè)選項(xiàng)卡重新調(diào)用switch_to_window()方法，再執(zhí)行其他操作即可。

15. 異常處理

在使用Selenium的過(guò)程中，難免會(huì)遇到一些異常，例如超時(shí)、節(jié)點(diǎn)未找到等錯(cuò)誤，一旦出現(xiàn)此類(lèi)錯(cuò)誤，程序便不會(huì)繼續(xù)運(yùn)行了。這里我們可以使用try except語(yǔ)句來(lái)捕獲各種異常。

首先，演示一下節(jié)點(diǎn)未找到的異常，示例如下：

from selenium import webdriver
browser = webdriver.Chrome()
browser.get('https://www.baidu.com')
browser.find_element_by_id('hello')

這里首先打開(kāi)百度頁(yè)面，然后嘗試選擇一個(gè)并不存在的節(jié)點(diǎn)，此時(shí)就會(huì)遇到異常。

運(yùn)行之后控制臺(tái)的輸出如下：

NoSuchElementException Traceback (most recent call last)
<ipython-input-23-978945848a1b> in <module>()
      3 browser = webdriver.Chrome()
      4 browser.get('https://www.baidu.com')
----> 5 browser.find_element_by_id('hello')

可以看到，這里拋出了NoSuchElementException異常，這通常是節(jié)點(diǎn)未找到的異常。為了防止程序遇到異常而中斷，我們需要捕獲這些異常，示例如下：

from selenium import webdriver
from selenium.common.exceptions import TimeoutException, NoSuchElementException
browser = webdriver.Chrome()
try:
    browser.get('https://www.baidu.com')
except TimeoutException:
    print('Time Out')
try:
    browser.find_element_by_id('hello')
except NoSuchElementException:
    print('No Element')
finally:
    browser.close()

這里我們使用try except來(lái)捕獲各類(lèi)異常。比如，我們對(duì)find_element_by_id()查找節(jié)點(diǎn)的方法捕獲NoSuchElementException異常，這樣一旦出現(xiàn)這樣的錯(cuò)誤，就進(jìn)行異常處理，程序也不會(huì)中斷了。

控制臺(tái)的輸出如下：