Python3 使用selenium插件爬取蘇寧商家聯(lián)系電話(huà)

更新時(shí)間：2019年12月23日 09:45:02 作者：菜鳥(niǎo)掙扎史

這篇文章主要介紹了Python3 selenium爬取蘇寧商家聯(lián)系電話(huà),此處使用了selenium插件使用的是火狐瀏覽器信息存儲(chǔ)到csv表格里面，需要的朋友可以參考下

Selenium簡(jiǎn)介

Selenium是一個(gè)用于測(cè)試網(wǎng)站的自動(dòng)化測(cè)試工具，支持各種瀏覽器包括Chrome、Firefox、Safari等主流界面瀏覽器，同時(shí)也支持phantomJS無(wú)界面瀏覽器。

此處使用了selenium插件使用的是火狐瀏覽器信息存儲(chǔ)到csv表格里面

前面詳細(xì)不多講如果條件不滿(mǎn)足自行百度安裝

# -*- coding: utf-8 -*-
"""
Created on Wed Dec 11 20:21:04 2019

@author: Administrator
"""
from selenium import webdriver
import time
import random
import csv
import codecs

#此處為要爬取的頁(yè)數(shù)默認(rèn)為 50頁(yè)
yema = 50
#要爬取的網(wǎng)址 此處網(wǎng)址為搜索詳細(xì)產(chǎn)品出現(xiàn)的產(chǎn)品搜索結(jié)果頁(yè)
#注意蘇寧搜索行業(yè)詞出現(xiàn)的產(chǎn)品頁(yè)面是不一樣的
wangzhi = "https://search.suning.com/%E4%BC%91%E9%97%B2%E9%A3%9F%E5%93%81/"
#codevs 防止中文寫(xiě)入時(shí)亂碼
f = codecs.open('suning.csv','a',encoding='utf-8')
csv_writer = csv.writer(f)
#谷歌
#browser = webdriver.chrom.webdirver.WebDriver(executable_path="chromedriver")
#火狐
browser1 = webdriver.Firefox(executable_path="geckodriver")

def browser_1(url,browser=browser1):

  #打開(kāi)網(wǎng)頁(yè)
  browser.get(url)
  
  return(browser)

browser = browser_1(wangzhi)
#通過(guò)class找到元素
#input_guanggao = browser.find_element_by_class_name("close-btn")
#點(diǎn)一下
#input_guanggao.click()
#輸入
#input_txt.send_keys("111")
#翻頁(yè)鍵
#next_page = browser.find_element_by_class_name("next")
#數(shù)據(jù)提取
urls = []
nub = 1
for i in range(yema-1):
  print(i)
  #將滾動(dòng)條拖到底部
  js="var q=document.documentElement.scrollTop=100000"
  browser.execute_script(js)
  time.sleep(random.randint(5,10))
  shops = browser.find_elements_by_class_name("sellPoint")
  for shop in shops:
    #print(shop)
    #print("*"*10)
    url = shop.get_attribute('href')
    vip = "/0000000000/"
    if vip not in url:
      urls.append(url)
      print(i,"--",nub,"--",url)
      nub += 1
  print(i,"頁(yè)")
  i += 1
  js="var q=document.documentElement.scrollTop=500"
  browser.execute_script(js)
  time.sleep(random.randint(3,5))
  next_page = browser.find_element_by_class_name("next")
  time.sleep(random.randint(3,5))
  next_page.click()
  time.sleep(random.randint(5,8))
print("---"*10)
for ul in urls:
  browser_shop = browser_1(ul)
  #公司名稱(chēng)
  chead_companyName = browser_shop.find_element_by_id("chead_companyName")
  #電話(huà)
  chead_telPhone = browser_shop.find_element_by_id("chead_telPhone")
  #地址
  chead_companyAddress = browser_shop.find_element_by_id("chead_companyAddress")
  browser_shop.find_element_by_class_name("storname").click()
  #chead_telPhone.find_element_by_xpath("http://*[contains(text(),'13816391436')]").click()
  companyName = chead_companyName.text
  if companyName == "":
    companyName = "null"
  telPhone = chead_telPhone.text
  if telPhone == "":
    telPhone = "null"
  companyAddress = chead_companyAddress.text
  if companyAddress == "":
    companyAddress = "null"
  print(companyName,"==",telPhone,"==",companyAddress)
  csv_writer.writerow([companyName,telPhone,companyAddress])
  #browser_shop.close()
f.close()
print("結(jié)束")

總結(jié)

以上所述是小編給大家介紹的Python3 使用selenium插件爬取蘇寧商家聯(lián)系電話(huà)，希望對(duì)大家有所幫助，如果大家有任何疑問(wèn)請(qǐng)給我留言，小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)腳本之家網(wǎng)站的支持！
如果你覺(jué)得本文對(duì)你有幫助，歡迎轉(zhuǎn)載，煩請(qǐng)注明出處，謝謝！

您可能感興趣的文章: