欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python使用Selenium模擬瀏覽器自動(dòng)操作功能

 更新時(shí)間:2020年09月08日 09:25:55   作者:Alan.hsiang  
這篇文章主要介紹了Python使用Selenium模擬瀏覽器自動(dòng)操作功能,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下

概述

在進(jìn)行網(wǎng)站爬取數(shù)據(jù)的時(shí)候,會(huì)發(fā)現(xiàn)很多網(wǎng)站都進(jìn)行了反爬蟲(chóng)的處理,如JS加密,Ajax加密,反Debug等方法,通過(guò)請(qǐng)求獲取數(shù)據(jù)和頁(yè)面展示的內(nèi)容完全不同,這時(shí)候就用到Selenium技術(shù),來(lái)模擬瀏覽器的操作,然后獲取數(shù)據(jù)。本文以一個(gè)簡(jiǎn)單的小例子,簡(jiǎn)述Python搭配Tkinter和Selenium進(jìn)行瀏覽器的模擬操作,僅供學(xué)習(xí)分享使用,如有不足之處,還請(qǐng)指正。

什么是Selenium?

Selenium是一個(gè)用于Web應(yīng)用程序測(cè)試的工具,Selenium測(cè)試直接運(yùn)行在瀏覽器中,就像真正的用戶在操作一樣。支持的瀏覽器包括IE(7, 8, 9, 10, 11),Mozilla Firefox,Safari,Google Chrome,Opera等。Selenium支持多種操作系統(tǒng),如Windows、Linux、IOS等,如果需要支持Android,則需要特殊的selenium,本文主要以IE11瀏覽器為例。

安裝Selenium

通過(guò)pip install selenium 進(jìn)行安裝即可,如果速度慢,則可以使用國(guó)內(nèi)的鏡像進(jìn)行安裝。

涉及知識(shí)點(diǎn)

程序雖小,除了需要掌握的Html ,JavaScript,CSS等基礎(chǔ)知識(shí)外,本例涉及的Python相關(guān)知識(shí)點(diǎn)還是蠻多的,具體如下:

  • Selenium相關(guān):

Selenium進(jìn)行元素定位,主要有ID,Name,ClassName,Css Selector,Partial LinkText,LinkText,XPath,TagName等8種方式。
Selenium獲取單一元素(如:find_element_by_xpath)和獲取元素?cái)?shù)組(如:find_elements_by_xpath)兩種方式。
Selenium元素定位后,可以給元素進(jìn)行賦值和取值,或者進(jìn)行相應(yīng)的事件操作(如:click)。

  • 線程(Thread)相關(guān):

為了防止前臺(tái)頁(yè)面卡主,本文用到了線程進(jìn)行后臺(tái)操作,如果要定義一個(gè)新的線程,只需要定義一個(gè)類并繼承threading.Thread,然后重寫(xiě)run方法即可。
在使用線程的過(guò)程中,為了保證線程的同步,本例用到了線程鎖,如:threading.Lock()。

  • 隊(duì)列(queue)相關(guān):

本例將Selenium執(zhí)行的過(guò)程信息,保存到對(duì)列中,并通過(guò)線程輸出到頁(yè)面顯示。queue默認(rèn)先進(jìn)先出方式。
對(duì)列通過(guò)put進(jìn)行壓棧,通過(guò)get進(jìn)行出棧。通過(guò)qsize()用于獲取當(dāng)前對(duì)列元素個(gè)數(shù)。

  • 日志(logging.Logger)相關(guān):

為了保存Selenium執(zhí)行過(guò)程中的日志,本例用到了日志模塊,為Pyhton自帶的模塊,不需要額外安裝。
Python的日志共六種級(jí)別,分別是:NOTSET,DEBUG,INFO,WARN,ERROR,F(xiàn)ATAL,CRITICAL。

示例效果圖

本例主要針對(duì)某一配置好的商品ID進(jìn)行輪詢,監(jiān)控是否有貨,有貨則加入購(gòu)物車,無(wú)貨則繼續(xù)輪詢,如下圖所示:

核心代碼

本例最核心的代碼,就是利用Selenium進(jìn)行網(wǎng)站的模擬操作,如下所示:

class Smoking:
 """定義Smoking類"""

 # 瀏覽器驅(qū)動(dòng)
 __driver: webdriver = None
 # 配置幫助類
 __cfg_info: dict = {}
 # 日志幫助類
 __log_helper: LogHelper = None
 # 主程序目錄
 __work_path: str = ''
 # 是否正在運(yùn)行
 __running: bool = False
 # 無(wú)貨
 __no_stock = 'Currently Out of Stock'
 # 線程等待秒數(shù)
 __wait_sec = 2

 def __init__(self, work_path, cfg_info, log_helper: LogHelper):
  """初始化"""
  self.__cfg_info = cfg_info
  self.__log_helper = log_helper
  self.__work_path = work_path
  self.__wait_sec = int(cfg_info['wait_sec'])
  # 如果小于2,則等于2
  self.__wait_sec = (2 if self.__wait_sec < 2 else self.__wait_sec)

 def checkIsExistsById(self, id):
  """通過(guò)ID判斷是否存在"""
  try:
   i = 0
   while self.__running and i < 3:
    if len(self.__driver.find_elements_by_id(id)) > 0:
     break
    else:
     time.sleep(self.__wait_sec)
     i = i + 1
   return len(self.__driver.find_elements_by_id(id)) > 0
  except BaseException as e:
   return False

 def checkIsExistsByName(self, name):
  """通過(guò)名稱判斷是否存在"""
  try:
   i = 0
   while self.__running and i < 3:
    if len(self.__driver.find_elements_by_name(name)) > 0:
     break
    else:
     time.sleep(self.__wait_sec)
     i = i + 1
   return len(self.__driver.find_elements_by_name(name)) > 0
  except BaseException as e:
   return False

 def checkIsExistsByPath(self, path):
  """通過(guò)xpath判斷是否存在"""
  try:
   i = 0
   while self.__running and i < 3:
    if len(self.__driver.find_elements_by_xpath(path)) > 0:
     break
    else:
     time.sleep(self.__wait_sec)
     i = i + 1
   return len(self.__driver.find_elements_by_xpath(path)) > 0
  except BaseException as e:
   return False

 def checkIsExistsByClass(self, cls):
  """通過(guò)class名稱判斷是否存在"""
  try:
   i = 0
   while self.__running and i < 3:
    if len(self.__driver.find_elements_by_class_name(cls)) > 0:
     break
    else:
     time.sleep(self.__wait_sec)
     i = i + 1
   return len(self.__driver.find_elements_by_class_name(cls)) > 0
  except BaseException as e:
   return False

 def checkIsExistsByLinkText(self, link_text):
  """判斷LinkText是否存在"""
  try:
   i = 0
   while self.__running and i < 3:
    if len(self.__driver.find_elements_by_link_text(link_text)) > 0:
     break
    else:
     time.sleep(self.__wait_sec)
     i = i + 1
   return len(self.__driver.find_elements_by_link_text(link_text)) > 0
  except BaseException as e:
   return False

 def checkIsExistsByPartialLinkText(self, link_text):
  """判斷包含LinkText是否存在"""
  try:
   i = 0
   while self.__running and i < 3:
    if len(self.__driver.find_elements_by_partial_link_text(link_text)) > 0:
     break
    else:
     time.sleep(self.__wait_sec)
     i = i + 1
   return len(self.__driver.find_elements_by_partial_link_text(link_text)) > 0
  except BaseException as e:
   return False

 # def waiting(self, *locator):
 #  """等待完成"""
 #  # self.__driver.switch_to.window(self.__driver.window_handles[1])
 #  Wait(self.__driver, 60).until(EC.visibility_of_element_located(locator))

 def login(self, username, password):
  """登錄"""
  # 5. 點(diǎn)擊鏈接跳轉(zhuǎn)到登錄頁(yè)面
  self.__driver.find_element_by_link_text('賬戶登錄').click()
  # 6. 輸入賬號(hào)密碼
  # 判斷是否加載完成
  # self.waiting((By.ID, "email"))
  if self.checkIsExistsById('email'):
   self.__driver.find_element_by_id('email').send_keys(username)
   self.__driver.find_element_by_id('password').send_keys(password)
   # 7. 點(diǎn)擊登錄按鈕
   self.__driver.find_element_by_id('sign-in').click()

 def working(self, item_id):
  """工作狀態(tài)"""
  while self.__running:
   try:
    # 正常獲取信息
    if self.checkIsExistsById('string'):
     self.__driver.find_element_by_id('string').clear()
     self.__driver.find_element_by_id('string').send_keys(item_id)
     self.__driver.find_element_by_id('string').send_keys(Keys.ENTER)
    # 判斷是否查詢到商品
    xpath = "http://div[@class='specialty-header search']/div[@class='specialty-description']/div[" \
      "@class='gt-450']/span[2] "
    if self.checkIsExistsByPath(xpath):
     count = int(self.__driver.find_element_by_xpath(xpath).text)
     if count < 1:
      time.sleep(self.__wait_sec)
      self.__log_helper.put('沒(méi)有查詢到item id =' + item_id + '對(duì)應(yīng)的信息')
      continue
    else:
     time.sleep(self.__wait_sec)
     self.__log_helper.put('沒(méi)有查詢到item id2 =' + item_id + '對(duì)應(yīng)的信息')
     continue
    # 判斷當(dāng)前庫(kù)存是否有貨

    xpath1 = "http://div[@class='product-list']/div[@class='product']/div[@class='price-and-detail']/div[" \
       "@class='price']/span[@class='noStock'] "
    if self.checkIsExistsByPath(xpath1):
     txt = self.__driver.find_element_by_xpath(xpath1).text
     if txt == self.__no_stock:
      # 當(dāng)前無(wú)貨
      time.sleep(self.__wait_sec)
      self.__log_helper.put('查詢一次' + item_id + ',無(wú)貨')
      continue

    # 鏈接path1
    xpath2 = "http://div[@class='product-list']/div[@class='product']/div[@class='imgDiv']/a"
    # 判斷是否加載完畢
    # self.waiting((By.CLASS_NAME, "imgDiv"))
    if self.checkIsExistsByPath(xpath2):
     self.__driver.find_element_by_xpath(xpath2).click()
     time.sleep(self.__wait_sec)
     # 加入購(gòu)物車
     if self.checkIsExistsByClass('add-to-cart'):
      self.__driver.find_element_by_class_name('add-to-cart').click()
      self.__log_helper.put('加入購(gòu)物車成功,商品item-id:' + item_id)
      break
     else:
      self.__log_helper.put('未找到加入購(gòu)物車按鈕')
    else:
     self.__log_helper.put('沒(méi)有查詢到,可能是商品編碼不對(duì),或者已下架')
   except BaseException as e:
    self.__log_helper.put(e)

 def startRun(self):
  """運(yùn)行起來(lái)"""
  try:
   self.__running = True
   url: str = self.__cfg_info['url']
   username = self.__cfg_info['username']
   password = self.__cfg_info['password']
   item_id = self.__cfg_info['item_id']
   if url is None or len(url) == 0 or username is None or len(username) == 0 or password is None or len(
     password) == 0 or item_id is None or len(item_id) == 0:
    self.__log_helper.put('配置信息不全,請(qǐng)檢查config.cfg文件是否為空,然后再重啟')
    return
   if self.__driver is None:
    options = webdriver.IeOptions()
    options.add_argument('encoding=UTF-8')
    options.add_argument('Accept= text / css, * / *')
    options.add_argument('Accept - Language= zh - Hans - CN, zh - Hans;q = 0.5')
    options.add_argument('Accept - Encoding= gzip, deflate')
    options.add_argument('user-agent=Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko')
    # 2. 定義瀏覽器驅(qū)動(dòng)對(duì)象
    self.__driver = webdriver.Ie(executable_path=self.__work_path + r'\IEDriverServer.exe', options=options)
   self.run(url, username, password, item_id)
  except BaseException as e:
   self.__log_helper.put('運(yùn)行過(guò)程中出錯(cuò),請(qǐng)重新打開(kāi)再試')

 def run(self, url, username, password, item_id):
  """運(yùn)行起來(lái)"""
  # 3. 訪問(wèn)網(wǎng)站
  self.__driver.get(url)
  # 4. 最大化窗口
  self.__driver.maximize_window()
  if self.checkIsExistsByLinkText('賬戶登錄'):
   # 判斷是否登錄:未登錄
   self.login(username, password)
  if self.checkIsExistsByPartialLinkText('歡迎回來(lái)'):
   # 判斷是否登錄:已登錄
   self.__log_helper.put('登錄成功,下一步開(kāi)始工作了')
   self.working(item_id)
  else:
   self.__log_helper.put('登錄失敗,請(qǐng)?jiān)O(shè)置賬號(hào)密碼')

 def stop(self):
  """停止"""
  try:
   self.__running = False
   # 如果驅(qū)動(dòng)不為空,則關(guān)閉
   self.close_browser_nicely(self.__driver)
   if self.__driver is not None:
    self.__driver.quit()
    # 關(guān)閉后切要為None,否則啟動(dòng)報(bào)錯(cuò)
    self.__driver = None
  except BaseException as e:
   print('Stop Failure')
  finally:
   self.__driver = None

 def close_browser_nicely(self, browser):
  try:
   browser.execute_script("window.onunload=null; window.onbeforeunload=null")
  except Exception as err:
   print("Fail to execute_script:'window.onunload=null; window.onbeforeunload=null'")

  socket.setdefaulttimeout(10)
  try:
   browser.quit()
   print("Close browser and firefox by calling quit()")
  except Exception as err:
   print("Fail to quit from browser, error-type:%s, reason:%s" % (type(err), str(err)))
  socket.setdefaulttimeout(30)

其他輔助類

日志類(LogHelper),代碼如下:

class LogHelper:
 """日志幫助類"""
 __queue: queue.Queue = None # 隊(duì)列
 __logging: logging.Logger = None # 日志
 __running: bool = False # 是否記錄日志

 def __init__(self, log_path):
  """初始化類"""
  self.__queue = queue.Queue(1000)
  self.init_log(log_path)

 def put(self, value):
  """添加數(shù)據(jù)"""
  # 記錄日志
  self.__logging.info(value)
  # 添加到隊(duì)列
  if self.__queue.qsize() < self.__queue.maxsize:
   self.__queue.put(value)

 def get(self):
  """獲取數(shù)據(jù)"""
  if self.__queue.qsize() > 0:
   try:
    return self.__queue.get(block=False)
   except BaseException as e:
    return None
  else:
   return None

 def init_log(self, log_path):
  """初始化日志"""
  self.__logging = logging.getLogger()
  self.__logging.setLevel(logging.INFO)
  # 日志
  rq = time.strftime('%Y%m%d%H%M', time.localtime(time.time()))
  log_name = log_path + rq + '.log'
  logfile = log_name
  # if not os.path.exists(logfile):
  #  # 創(chuàng)建空文件
  #  open(logfile, mode='r')
  fh = logging.FileHandler(logfile, mode='a', encoding='UTF-8')
  fh.setLevel(logging.DEBUG) # 輸出到file的log等級(jí)的開(kāi)關(guān)
  # 第三步,定義handler的輸出格式
  formatter = logging.Formatter("%(asctime)s - %(filename)s[line:%(lineno)d] - %(levelname)s: %(message)s")
  fh.setFormatter(formatter)
  # 第四步,將logger添加到handler里面
  self.__logging.addHandler(fh)

 def get_running(self):
  # 獲取當(dāng)前記錄日志的狀態(tài)
  return self.__running

 def set_running(self, v: bool):
  # 設(shè)置當(dāng)前記錄日志的狀態(tài)

  self.__running = v

配置類(ConfigHelper)

class ConfigHelper:
 """初始化數(shù)據(jù)類"""

 __config_dir = None
 __dic_cfg = {}

 def __init__(self, config_dir):
  """初始化"""
  self.__config_dir = config_dir

 def ReadConfigInfo(self):
  """得到配置項(xiàng)"""
  parser = ConfigParser()
  parser.read(self.__config_dir + r"\config.cfg")
  section = parser.sections()[0]
  items = parser.items(section)
  self.__dic_cfg.clear()
  for item in items:
   self.__dic_cfg.__setitem__(item[0], item[1])

 def getConfigInfo(self):
  """獲取配置信息"""
  if len(self.__dic_cfg) == 0:
   self.ReadConfigInfo()
  return self.__dic_cfg

線程類(MyThread)

class MyThread(threading.Thread):
 """后臺(tái)監(jiān)控線程"""

 def __init__(self, tid, name, smoking: Smoking, log_helper: LogHelper):
  """線程初始化"""
  threading.Thread.__init__(self)
  self.threadID = tid
  self.name = name
  self.smoking = smoking
  self.log_helper = log_helper

 def run(self):
  print("開(kāi)啟線程: " + self.name)
  self.log_helper.put("開(kāi)啟線程: " + self.name)
  # 獲取鎖,用于線程同步
  # lock = threading.Lock()
  # lock.acquire()
  self.smoking.startRun()
  # 釋放鎖,開(kāi)啟下一個(gè)線程
  # lock.release()
  print("結(jié)束線程: " + self.name)
  self.log_helper.put("結(jié)束線程: " + self.name)

備注

俠客行 [唐:李白]趙客縵胡纓,吳鉤霜雪明。銀鞍照白馬,颯沓如流星。
十步殺一人,千里不留行。事了拂衣去,深藏身與名。
閑過(guò)信陵飲,脫劍膝前橫。將炙啖朱亥,持觴勸侯嬴。
三杯吐然諾,五岳倒為輕。眼花耳熱后,意氣素霓生。
救趙揮金槌,邯鄲先震驚。千秋二壯士,烜赫大梁城。
縱死俠骨香,不慚世上英。誰(shuí)能書(shū)閣下,白首太玄經(jīng)。

到此這篇關(guān)于Python使用Selenium模擬瀏覽器自動(dòng)操作的文章就介紹到這了,更多相關(guān)Python模擬瀏覽器自動(dòng)操作內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • python海龜繪圖實(shí)例教程

    python海龜繪圖實(shí)例教程

    這篇文章主要介紹了python海龜繪圖實(shí)例教程,需要的朋友可以參考下
    2014-07-07
  • Python使用sklearn庫(kù)實(shí)現(xiàn)的各種分類算法簡(jiǎn)單應(yīng)用小結(jié)

    Python使用sklearn庫(kù)實(shí)現(xiàn)的各種分類算法簡(jiǎn)單應(yīng)用小結(jié)

    這篇文章主要介紹了Python使用sklearn庫(kù)實(shí)現(xiàn)的各種分類算法,結(jié)合實(shí)例形式分析了Python使用sklearn庫(kù)實(shí)現(xiàn)的KNN、SVM、LR、決策樹(shù)、隨機(jī)森林等算法實(shí)現(xiàn)技巧,需要的朋友可以參考下
    2019-07-07
  • Python中字典創(chuàng)建、遍歷、添加等實(shí)用操作技巧合集

    Python中字典創(chuàng)建、遍歷、添加等實(shí)用操作技巧合集

    這篇文章主要介紹了Python中字典創(chuàng)建、遍歷、添加等實(shí)用操作技巧合集,本文講解了字典中常見(jiàn)方法列表、創(chuàng)建字典的五種方法、字典中鍵值遍歷方法等內(nèi)容,需要的朋友可以參考下
    2015-06-06
  • python如何導(dǎo)出微信公眾號(hào)文章方法詳解

    python如何導(dǎo)出微信公眾號(hào)文章方法詳解

    這篇文章主要介紹了python如何導(dǎo)出微信公眾號(hào)文章方法詳解,本文通過(guò)示例代碼給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2020-08-08
  • python神經(jīng)網(wǎng)絡(luò)使用Keras構(gòu)建RNN訓(xùn)練

    python神經(jīng)網(wǎng)絡(luò)使用Keras構(gòu)建RNN訓(xùn)練

    這篇文章主要為大家介紹了python神經(jīng)網(wǎng)絡(luò)使用Keras構(gòu)建RNN網(wǎng)絡(luò)訓(xùn)練,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪<BR>
    2022-05-05
  • python?包(模塊?函數(shù)?類?定義?導(dǎo)入)使用詳解

    python?包(模塊?函數(shù)?類?定義?導(dǎo)入)使用詳解

    這篇文章主要為大家介紹了python?包(模塊?函數(shù)?類?定義?導(dǎo)入)的使用詳細(xì)講解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
    2023-03-03
  • Python實(shí)現(xiàn)用手機(jī)監(jiān)控遠(yuǎn)程控制電腦的方法

    Python實(shí)現(xiàn)用手機(jī)監(jiān)控遠(yuǎn)程控制電腦的方法

    這篇文章主要介紹了Python實(shí)現(xiàn)用手機(jī)監(jiān)控遠(yuǎn)程控制電腦的方法,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2021-04-04
  • Python字典查找數(shù)據(jù)的5個(gè)基礎(chǔ)操作方法

    Python字典查找數(shù)據(jù)的5個(gè)基礎(chǔ)操作方法

    Python字典是另一種可變?nèi)萜髂P?且可存儲(chǔ)任意類型對(duì)象,如字符串、數(shù)字、元組等其他容器模型,下面這篇文章主要給大家介紹了關(guān)于Python字典查找數(shù)據(jù)的5個(gè)基礎(chǔ)操作方法,需要的朋友可以參考下
    2022-06-06
  • opencv-python基本圖像處理詳解

    opencv-python基本圖像處理詳解

    這篇文章主要介紹了Python Opencv圖像處理基本操作代碼詳解,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
    2021-08-08
  • 使用豆瓣提供的國(guó)內(nèi)pypi源

    使用豆瓣提供的國(guó)內(nèi)pypi源

    PyPI(Python Package Index)是python官方的第三方庫(kù)的倉(cāng)庫(kù),所有人都可以下載第三方庫(kù)或上傳自己開(kāi)發(fā)的庫(kù)到PyPI。PyPI推薦使用pip包管理器來(lái)下載第三方庫(kù)。
    2017-07-07

最新評(píng)論