Python爬蟲(chóng)基礎(chǔ)之selenium庫(kù)的用法總結(jié)
一、selenium簡(jiǎn)介
總的來(lái)說(shuō): selenium庫(kù)主要用來(lái)做瀏覽器的自動(dòng)化腳本庫(kù)。
二、selenium基本用法
from selenium import webdriver url = 'http://www.baidu.com' # 將webdriver實(shí)例化 path = 'C:\Program Files (x86)\Python38-32\chromedriver.exe' browser = webdriver.Chrome(executable_path = path) # 用谷歌瀏覽器訪問(wèn)百度 r = browser.get(url) with open ('test.txt','wb+') as f: f.write(r.content)
三、常用用法
''' 代碼功能:selenium是的常用用法 時(shí)間:@Date: 2021-05-22 21:37:05 ''' from selenium import webdriver # 導(dǎo)入Options類(lèi) from selenium.webdriver.chrome.options import Options url = "https://movie.douban.com/" # Options的實(shí)例化 chrome_options = Options() # 設(shè)置瀏覽器參數(shù) # --headless 是不顯示瀏覽器啟動(dòng)以及執(zhí)行過(guò)程 chrome_options.add_argument('--headless') # 設(shè)置lang和User-Agent信息,防止反爬檢測(cè) chrome_options.add_argument('lang=zh_CN.utf-8') UserAgent = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36' chrome_options.add_argument('User-Agent='+UserAgent) # 啟動(dòng)瀏覽器并設(shè)置chrome_options參數(shù) driver = webdriver.Chrome(chrome_options=chrome_options) # 設(shè)置瀏覽器窗口最大化 # driver.maximize_window() # # 設(shè)置瀏覽器窗口最小化 # driver.minimize_window() driver.get(url) # 獲取網(wǎng)頁(yè)的標(biāo)題 print(driver.title) # page_source是獲取網(wǎng)頁(yè)的HTML代碼 print(driver.page_source)
四、cookie的設(shè)置、獲取與刪除
from selenium import webdriver import time # 啟動(dòng)瀏覽器 driver = webdriver.Chrome() driver.get('https://www.youdao.com') time.sleep(5) # 添加cookie driver.add_cookie({'name':'login','value':'登錄'}) # 獲取全部cookie allCookies = driver.get_cookies() print('全部cookies',allCookies) # 獲取name為login的cookie cookie = driver.get_cookie('login') print('name為login的cookie',cookie) # 刪除單個(gè)cookie driver.delete_cookie('login') print("\n--------------剩余的cookies\n",driver.get_cookies()) # 刪除全部cookies driver.delete_all_cookies() print("-------------剩余的cookies------------\n",driver.get_cookies()) time.sleep(60)
五、文件的上傳與下載 文件上傳upload
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title>Document</title> </head> <body> <h1>配合selenium模擬上傳文件</h1> <input type='file' name='file' /> </body> </html>
''' 代碼功能:selenium上傳文件 --配合upload.html使用 時(shí)間:@Date: 2021-05-23 09:56:53 ''' from selenium import webdriver import time driver = webdriver.Chrome() url = 'http://localhost:52330/selenium/upload.html' driver.get(url) ele = driver.find_element_by_name('file') print("獲取到的元素",ele) # 注意路徑不能有中文字符 ele.send_keys('D:\dcsdk_eventv3.db') time.sleep(10)
下載文件
''' 代碼功能:模擬文件下載 時(shí)間:@Date: 2021-05-23 10:21:28 ''' from selenium import webdriver import time # 設(shè)置文件保存路徑,如果不設(shè)置,會(huì)默認(rèn)保存到Downloads文件夾 options = webdriver.ChromeOptions() prefs = {'download.default_directory':'D:\\'} options.add_experimental_option('prefs',prefs) # 啟動(dòng)瀏覽器 driver = webdriver.Chrome() # 下載PC版微信 driver.get('https://pc.weixin.qq.com') # 瀏覽器窗口最大化 driver.maximize_window() time.sleep(5) # 點(diǎn)擊下載按鈕 driver.find_element_by_class_name('download-button').click() time.sleep(30)
六、窗口的切換
from selenium import webdriver import time url = 'https://www.baidu.com/' driver = webdriver.Chrome() # 隱式等待,一次設(shè)置對(duì)整個(gè)driver的周期都起作用 driver.implicitly_wait(30) driver.get(url) # 使用js開(kāi)啟新的窗口 js = 'window.open("https://www.sogou.com/")' driver.execute_script(js) # 獲取當(dāng)前顯示的窗口信息 current_window = driver.current_window_handle print(driver) # 獲取瀏覽器的全部窗口信息 handles = driver.window_handles print('獲取到的窗口全部信息\n------------------\n',handles) ''' 獲取到的窗口全部信息 ------------------ ['CDwindow-7FB808B4F24EF5385A9AFBDC21FA13B9', 'CDwindow-E879C0A64E734C3F88468A4388F48E3B'] ''' # 設(shè)置延時(shí)看切換的效果 time.sleep(3) # 根據(jù)窗口信息進(jìn)行窗口切換 # 切換到百度搜索的窗口 driver.switch_to_window(handles[0]) time.sleep(3) # 切換到搜狗窗口 driver.switch_to_window(handles[1])
七、項(xiàng)目實(shí)戰(zhàn)
''' 代碼功能:熟悉selenium的自動(dòng)化操作 時(shí)間:2020/5/22 ''' from selenium import webdriver from selenium.webdriver.common.keys import Keys import time # Keys 類(lèi)中定義了很多快捷鍵 url = 'https://wwww.baidu.com' path = 'C:\Program Files (x86)\Python38-32\chromedriver.exe' driver = webdriver.Chrome(executable_path=path) driver.get(url) # 獲取輸入框標(biāo)簽對(duì)象 element = driver.find_element_by_id('kw') # 輸入框輸入內(nèi)容 element.send_keys('python你') time.sleep(2) # 刪除最后一個(gè)文字 element.send_keys(Keys.BACK_SPACE) time.sleep(2) # 添加空格加教程 element.send_keys(Keys.SPACE) element.send_keys("教程") time.sleep(2) # ctrl+a 全選輸入框內(nèi)容 element.send_keys(Keys.CONTROL, 'a') time.sleep(2) # ctrl+x 剪切輸入框內(nèi)容 element.send_keys(Keys.CONTROL, 'x') time.sleep(2) # ctrl+v 復(fù)制 element.send_keys(Keys.CONTROL, 'v') time.sleep(2) # 回車(chē)鍵 driver.find_element_by_id('su').send_keys(Keys.ENTER) time.sleep(10)
到此這篇關(guān)于Python爬蟲(chóng)基礎(chǔ)之selenium庫(kù)的用法總結(jié)的文章就介紹到這了,更多相關(guān)Python selenium庫(kù)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
- Python爬蟲(chóng)請(qǐng)求模塊Urllib及Requests庫(kù)安裝使用教程
- python爬蟲(chóng)lxml庫(kù)解析xpath網(wǎng)頁(yè)過(guò)程示例
- python爬蟲(chóng)學(xué)習(xí)筆記--BeautifulSoup4庫(kù)的使用詳解
- python爬蟲(chóng)之pyppeteer庫(kù)簡(jiǎn)單使用
- python爬蟲(chóng)之selenium庫(kù)的安裝及使用教程
- python爬蟲(chóng)請(qǐng)求庫(kù)httpx和parsel解析庫(kù)的使用測(cè)評(píng)
- 盤(pán)點(diǎn)總結(jié)Python爬蟲(chóng)常用庫(kù)(附官方文檔)
相關(guān)文章
python利用Appium實(shí)現(xiàn)自動(dòng)控制移動(dòng)設(shè)備并提取數(shù)據(jù)功能
這篇文章主要介紹了python利用Appium自動(dòng)控制移動(dòng)設(shè)備并提取數(shù)據(jù),本文以控制抖音app滑動(dòng)并獲取抖音短視頻發(fā)布者為例,通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì),需要的朋友可以參考下2021-09-09Python坐標(biāo)軸操作及設(shè)置代碼實(shí)例
這篇文章主要介紹了Python坐標(biāo)軸操作及設(shè)置代碼實(shí)例,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-06-06Python基于keras訓(xùn)練實(shí)現(xiàn)微笑識(shí)別的示例詳解
Keras是一個(gè)由Python編寫(xiě)的開(kāi)源人工神經(jīng)網(wǎng)絡(luò)庫(kù),可用于深度學(xué)習(xí)模型的設(shè)計(jì)、調(diào)試、評(píng)估、應(yīng)用和可視化。本文將基于keras訓(xùn)練實(shí)現(xiàn)微笑識(shí)別效果,需要的可以參考一下2022-01-01使用Python合并Excel文件中的多個(gè)Sheet的實(shí)現(xiàn)過(guò)程
在Python中,可以使用pandas庫(kù)來(lái)處理Excel文件,將多個(gè)工作表(sheets)合并為一個(gè)工作表,以下是一個(gè)詳細(xì)的代碼示例,展示了如何實(shí)現(xiàn)這一功能,文中有相關(guān)的代碼供大家參考,需要的朋友可以參考下2024-10-10Python神器之使用watchdog監(jiān)控文件變化
這篇文章主要為大家詳細(xì)介紹了Python中的神器watchdog以及如何使用watchdog監(jiān)控文件變化,文中的示例代碼講解詳細(xì),感興趣的小伙伴可以了解下2023-12-12python使用協(xié)程實(shí)現(xiàn)并發(fā)操作的方法詳解
這篇文章主要介紹了python使用協(xié)程實(shí)現(xiàn)并發(fā)操作的方法,結(jié)合實(shí)例形式詳細(xì)分析了Python協(xié)程的原理及使用Gevent實(shí)現(xiàn)協(xié)程操作的相關(guān)技巧與操作注意事項(xiàng),需要的朋友可以參考下2019-12-12Python QTimer實(shí)現(xiàn)多線程及QSS應(yīng)用過(guò)程解析
這篇文章主要介紹了Python QTimer實(shí)現(xiàn)多線程及QSS應(yīng)用過(guò)程解析,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-07-07Python3.6實(shí)現(xiàn)帶有簡(jiǎn)單界面的有道翻譯小程序
本文通過(guò)實(shí)例代碼給大家介紹了基于Python3.6實(shí)現(xiàn)帶有簡(jiǎn)單界面的有道翻譯小程序,非常不錯(cuò),具有一定的參考借鑒價(jià)值,需要的朋友參考下吧2019-04-04