快捷導(dǎo)航

python實(shí)現(xiàn)selenium網(wǎng)絡(luò)爬蟲(chóng)的方法小結(jié)

更新時(shí)間：2021年03月11日 11:45:36 作者：不想打代碼了

這篇文章主要介紹了python實(shí)現(xiàn)selenium網(wǎng)絡(luò)爬蟲(chóng)的方法小結(jié),本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下

selenium最初是一個(gè)自動(dòng)化測(cè)試工具，而爬蟲(chóng)中使用它主要是為了解決requests無(wú)法直接執(zhí)行JavaScript代碼的問(wèn)題，selenium本質(zhì)是通過(guò)驅(qū)動(dòng)瀏覽器，完全模擬瀏覽器的操作，比如跳轉(zhuǎn)、輸入、點(diǎn)擊、下拉等，來(lái)拿到網(wǎng)頁(yè)渲染之后的結(jié)果，可支持多種瀏覽器，這里只用到谷歌瀏覽器。

1.selenium初始化

方法一：會(huì)打開(kāi)網(wǎng)頁(yè)

# 該方法會(huì)打開(kāi)goole網(wǎng)頁(yè)
from selenium import webdriver
url = '網(wǎng)址'
driver = webdriver.Chrome()
driver.get(url)
driver.maximize_window() # 實(shí)現(xiàn)窗口最大化

方法二：不會(huì)打開(kāi)網(wǎng)頁(yè)

# 該方法會(huì)隱式打開(kāi)goole網(wǎng)頁(yè)
from selenium import webdriver
url = '網(wǎng)址'
driver = webdriver.ChromeOptions()
driver.add_argument("headless")
driver = webdriver.Chrome(options=driver)
driver.get(url)

driver = webdriver.Chrome()出錯(cuò)是因?yàn)闆](méi)有chromedriver.exe這個(gè)文件

2.元素定位

在selenium中，可以有多種方法對(duì)元素進(jìn)行定位，個(gè)人通常喜歡用Xpath和selector來(lái)定位元素，這樣就不用一個(gè)一個(gè)的去找節(jié)點(diǎn)，直接在網(wǎng)頁(yè)上定位到元素復(fù)制就行。

driver.find_element_by_id() # 通過(guò)元素ID定位
driver.find_element_by_name() # 通過(guò)元素Name定位
driver.find_element_by_class_name() # 通過(guò)類名定位
driver.find_element_by_tag_name() # 通過(guò)元素TagName定位
driver.find_element_by_link_text() # 通過(guò)文本內(nèi)容定位
driver.find_element_by_partial_link_text()
driver.find_element_by_xpath() # 通過(guò)Xpath語(yǔ)法定位
driver.find_element_by_css_selector() # 通過(guò)選擇器定位

注：若尋找多個(gè)元素，要記得用復(fù)數(shù)來(lái)選擇（element改為elements）

# 例如
[i.text for i in driver.find_elements_by_xpath()]

3.建立點(diǎn)擊事件

因?yàn)橛行┚W(wǎng)站的需求，需建立點(diǎn)擊事件，
如下圖的這種時(shí)間選擇，需要設(shè)置點(diǎn)擊和輸入內(nèi)容，設(shè)置的方法也很簡(jiǎn)單。

driver.find_element_by_css_selector('').click() # 點(diǎn)擊
driver.find_element_by_css_selector('').send_keys('2021-3-9') # 輸入內(nèi)容

4.切換窗口

有些網(wǎng)站點(diǎn)擊之后會(huì)產(chǎn)生新窗口，這時(shí)就需要進(jìn)行窗口的切換才能進(jìn)行元素定位

win = driver.window_handles # 獲取當(dāng)前瀏覽器的所有窗口
driver.switch_to.window(win[-1]) # 切換到最后打開(kāi)的窗口
driver.close() # 關(guān)閉當(dāng)前窗口
driver.switch_to.window(win[0]) # 切換到最初的窗口

5.iframe問(wèn)題

有些網(wǎng)站會(huì)采用iframe來(lái)編寫(xiě)頁(yè)面，這時(shí)就需要進(jìn)入到iframe才可以獲取元素，一般有多少個(gè)iframe就需要進(jìn)入多少個(gè)iframe。

# 有兩個(gè)iframe，需逐步進(jìn)入
iframe1 = driver.find_element_by_xpath('')
driver.switch_to.frame(iframe1)
iframe2 = driver.find_element_by_xpath('')
driver.switch_to.frame(iframe2)

到此這篇關(guān)于python實(shí)現(xiàn)selenium網(wǎng)絡(luò)爬蟲(chóng)的文章就介紹到這了,更多相關(guān)python selenium網(wǎng)絡(luò)爬蟲(chóng)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: