Scrapy基于selenium結合爬取淘寶的實例講解

更新時間：2018年06月13日 10:13:13 作者：CHZZBECK

今天小編就為大家分享一篇Scrapy基于selenium結合爬取淘寶的實例講解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧

在對于淘寶，京東這類網站爬取數(shù)據(jù)時，通常直接使用發(fā)送請求拿回response數(shù)據(jù)，在解析獲取想要的數(shù)據(jù)時比較難的，因為數(shù)據(jù)只有在瀏覽網頁的時候才會動態(tài)加載，所以要想爬取淘寶京東上的數(shù)據(jù)，可以使用selenium來進行模擬操作

對于scrapy框架，下載器來說已經沒多大用，因為獲取的response源碼里面沒有想要的數(shù)據(jù)，因為沒有加載出來，所以要在請求發(fā)給下載中間件的時候直接使用selenium對請求解析，獲得完整response直接返回，不經過下載器下載，上代碼

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import time
from scrapy.http.response.html import HtmlResponse
from scrapy.http.response.text import TextResponse
from selenium.webdriver import ActionChains
 
class TaobaoMiddleware(object):
 
 #處理請求函數(shù)
 def process_request(self,request,spider):
  #聲明一個Options對象
  opt = Options()
  #給對象添加一個--headless參數(shù),表示無頭啟動
  opt.add_argument('--headless')
  #把配置參數(shù)應用到驅動創(chuàng)建的對象
  driver = webdriver.Chrome(options=opt)
  #打開requests中的地址
  driver.get(request.url)
 
  #讓瀏覽器滾動到底部
  for x in range(1,11):
   j = x / 10
   js = "document.documentElement.scrollTop = document.documentElement.scrollHeight*%f"%j
   driver.execute_script(js)
   #每次滾動等待0.5s
   time.sleep(5)
 
  #獲取下一頁按鈕的標簽
  next_btn =driver.find_element_by_xpath('//span[contains(text(),"下一頁")]')
  #睡眠0.5秒
  time.sleep(0.5)
  #對下一頁標簽進行鼠標右鍵觸發(fā)事件
  ActionChains(driver).context_click(next_btn).click().perform()
  # driver.save_screenshot('截圖.png')
  #把驅動對象獲得的源碼賦值給新變量
  page_source = driver.page_source
  #退出
  driver.quit()
 
  #根據(jù)網頁源代碼,創(chuàng)建Htmlresponse對象
  response = HtmlResponse(url=request.url,body=page_source,encoding='utf-8',request=request)
  #因為返回的是文本消息,所以需要指定字符編碼格式
 
  return response
 
 def process_response(self,request,response,spider):
 
  return response
 
 def process_exception(self,request,exception,spider):
  pass

以上這篇Scrapy基于selenium結合爬取淘寶的實例講解就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持腳本之家。

您可能感興趣的文章: