Python爬蟲基礎(chǔ)之selenium庫的用法總結(jié)
一、selenium簡介

總的來說: selenium庫主要用來做瀏覽器的自動化腳本庫。
二、selenium基本用法
from selenium import webdriver
url = 'http://www.baidu.com'
# 將webdriver實例化
path = 'C:\Program Files (x86)\Python38-32\chromedriver.exe'
browser = webdriver.Chrome(executable_path = path)
# 用谷歌瀏覽器訪問百度
r = browser.get(url)
with open ('test.txt','wb+') as f:
f.write(r.content)
三、常用用法
'''
代碼功能:selenium是的常用用法
時間:@Date: 2021-05-22 21:37:05
'''
from selenium import webdriver
# 導入Options類
from selenium.webdriver.chrome.options import Options
url = "https://movie.douban.com/"
# Options的實例化
chrome_options = Options()
# 設(shè)置瀏覽器參數(shù)
# --headless 是不顯示瀏覽器啟動以及執(zhí)行過程
chrome_options.add_argument('--headless')
# 設(shè)置lang和User-Agent信息,防止反爬檢測
chrome_options.add_argument('lang=zh_CN.utf-8')
UserAgent = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36'
chrome_options.add_argument('User-Agent='+UserAgent)
# 啟動瀏覽器并設(shè)置chrome_options參數(shù)
driver = webdriver.Chrome(chrome_options=chrome_options)
# 設(shè)置瀏覽器窗口最大化
# driver.maximize_window()
# # 設(shè)置瀏覽器窗口最小化
# driver.minimize_window()
driver.get(url)
# 獲取網(wǎng)頁的標題
print(driver.title)
# page_source是獲取網(wǎng)頁的HTML代碼
print(driver.page_source)
四、cookie的設(shè)置、獲取與刪除
from selenium import webdriver
import time
# 啟動瀏覽器
driver = webdriver.Chrome()
driver.get('https://www.youdao.com')
time.sleep(5)
# 添加cookie
driver.add_cookie({'name':'login','value':'登錄'})
# 獲取全部cookie
allCookies = driver.get_cookies()
print('全部cookies',allCookies)
# 獲取name為login的cookie
cookie = driver.get_cookie('login')
print('name為login的cookie',cookie)
# 刪除單個cookie
driver.delete_cookie('login')
print("\n--------------剩余的cookies\n",driver.get_cookies())
# 刪除全部cookies
driver.delete_all_cookies()
print("-------------剩余的cookies------------\n",driver.get_cookies())
time.sleep(60)
五、文件的上傳與下載 文件上傳upload
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<meta http-equiv="X-UA-Compatible" content="IE=edge">
<meta name="viewport" content="width=device-width, initial-scale=1.0">
<title>Document</title>
</head>
<body>
<h1>配合selenium模擬上傳文件</h1>
<input type='file' name='file' />
</body>
</html>
'''
代碼功能:selenium上傳文件 --配合upload.html使用
時間:@Date: 2021-05-23 09:56:53
'''
from selenium import webdriver
import time
driver = webdriver.Chrome()
url = 'http://localhost:52330/selenium/upload.html'
driver.get(url)
ele = driver.find_element_by_name('file')
print("獲取到的元素",ele)
# 注意路徑不能有中文字符
ele.send_keys('D:\dcsdk_eventv3.db')
time.sleep(10)
下載文件
'''
代碼功能:模擬文件下載
時間:@Date: 2021-05-23 10:21:28
'''
from selenium import webdriver
import time
# 設(shè)置文件保存路徑,如果不設(shè)置,會默認保存到Downloads文件夾
options = webdriver.ChromeOptions()
prefs = {'download.default_directory':'D:\\'}
options.add_experimental_option('prefs',prefs)
# 啟動瀏覽器
driver = webdriver.Chrome()
# 下載PC版微信
driver.get('https://pc.weixin.qq.com')
# 瀏覽器窗口最大化
driver.maximize_window()
time.sleep(5)
# 點擊下載按鈕
driver.find_element_by_class_name('download-button').click()
time.sleep(30)
六、窗口的切換
from selenium import webdriver
import time
url = 'https://www.baidu.com/'
driver = webdriver.Chrome()
# 隱式等待,一次設(shè)置對整個driver的周期都起作用
driver.implicitly_wait(30)
driver.get(url)
# 使用js開啟新的窗口
js = 'window.open("https://www.sogou.com/")'
driver.execute_script(js)
# 獲取當前顯示的窗口信息
current_window = driver.current_window_handle
print(driver)
# 獲取瀏覽器的全部窗口信息
handles = driver.window_handles
print('獲取到的窗口全部信息\n------------------\n',handles)
'''
獲取到的窗口全部信息
------------------
['CDwindow-7FB808B4F24EF5385A9AFBDC21FA13B9', 'CDwindow-E879C0A64E734C3F88468A4388F48E3B']
'''
# 設(shè)置延時看切換的效果
time.sleep(3)
# 根據(jù)窗口信息進行窗口切換
# 切換到百度搜索的窗口
driver.switch_to_window(handles[0])
time.sleep(3)
# 切換到搜狗窗口
driver.switch_to_window(handles[1])
七、項目實戰(zhàn)
'''
代碼功能:熟悉selenium的自動化操作
時間:2020/5/22
'''
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time
# Keys 類中定義了很多快捷鍵
url = 'https://wwww.baidu.com'
path = 'C:\Program Files (x86)\Python38-32\chromedriver.exe'
driver = webdriver.Chrome(executable_path=path)
driver.get(url)
# 獲取輸入框標簽對象
element = driver.find_element_by_id('kw')
# 輸入框輸入內(nèi)容
element.send_keys('python你')
time.sleep(2)
# 刪除最后一個文字
element.send_keys(Keys.BACK_SPACE)
time.sleep(2)
# 添加空格加教程
element.send_keys(Keys.SPACE)
element.send_keys("教程")
time.sleep(2)
# ctrl+a 全選輸入框內(nèi)容
element.send_keys(Keys.CONTROL, 'a')
time.sleep(2)
# ctrl+x 剪切輸入框內(nèi)容
element.send_keys(Keys.CONTROL, 'x')
time.sleep(2)
# ctrl+v 復(fù)制
element.send_keys(Keys.CONTROL, 'v')
time.sleep(2)
# 回車鍵
driver.find_element_by_id('su').send_keys(Keys.ENTER)
time.sleep(10)
到此這篇關(guān)于Python爬蟲基礎(chǔ)之selenium庫的用法總結(jié)的文章就介紹到這了,更多相關(guān)Python selenium庫內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
python利用Appium實現(xiàn)自動控制移動設(shè)備并提取數(shù)據(jù)功能
這篇文章主要介紹了python利用Appium自動控制移動設(shè)備并提取數(shù)據(jù),本文以控制抖音app滑動并獲取抖音短視頻發(fā)布者為例,通過實例代碼給大家介紹的非常詳細,需要的朋友可以參考下2021-09-09
Python基于keras訓練實現(xiàn)微笑識別的示例詳解
Keras是一個由Python編寫的開源人工神經(jīng)網(wǎng)絡(luò)庫,可用于深度學習模型的設(shè)計、調(diào)試、評估、應(yīng)用和可視化。本文將基于keras訓練實現(xiàn)微笑識別效果,需要的可以參考一下2022-01-01
使用Python合并Excel文件中的多個Sheet的實現(xiàn)過程
在Python中,可以使用pandas庫來處理Excel文件,將多個工作表(sheets)合并為一個工作表,以下是一個詳細的代碼示例,展示了如何實現(xiàn)這一功能,文中有相關(guān)的代碼供大家參考,需要的朋友可以參考下2024-10-10
Python神器之使用watchdog監(jiān)控文件變化
這篇文章主要為大家詳細介紹了Python中的神器watchdog以及如何使用watchdog監(jiān)控文件變化,文中的示例代碼講解詳細,感興趣的小伙伴可以了解下2023-12-12
python使用協(xié)程實現(xiàn)并發(fā)操作的方法詳解
這篇文章主要介紹了python使用協(xié)程實現(xiàn)并發(fā)操作的方法,結(jié)合實例形式詳細分析了Python協(xié)程的原理及使用Gevent實現(xiàn)協(xié)程操作的相關(guān)技巧與操作注意事項,需要的朋友可以參考下2019-12-12
Python QTimer實現(xiàn)多線程及QSS應(yīng)用過程解析
這篇文章主要介紹了Python QTimer實現(xiàn)多線程及QSS應(yīng)用過程解析,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-07-07
Python3.6實現(xiàn)帶有簡單界面的有道翻譯小程序
本文通過實例代碼給大家介紹了基于Python3.6實現(xiàn)帶有簡單界面的有道翻譯小程序,非常不錯,具有一定的參考借鑒價值,需要的朋友參考下吧2019-04-04

