python爬蟲用scrapy獲取影片的實例分析

更新時間：2020年11月23日 14:20:37 作者：小妮淺淺

在本篇內(nèi)容里小編給大家整理的是一篇關于python爬蟲用scrapy獲取影片的實例分析內(nèi)容，有興趣的朋友們可以參考下。

我們平時生活的娛樂中，看電影是大部分小伙伴都喜歡的事情。周圍的人總會有意無意的在談論，有什么影片上映，好不好看之類的話題，沒事的時候談論電影是非常不錯的話題。那么，一些好看的影片如果不去電影院的話，在其他地方看都會有大大小小的限制，今天小編就教大家用python中的scrapy獲取影片的辦法吧。

1. 創(chuàng)建項目

運行命令:

scrapy startproject myfrist（your_project_name）

注意：一般創(chuàng)建爬蟲文件時，以網(wǎng)站域名命名

2 編寫 spdier

在spiders目錄中新建 daidu_spider.py 文件

2.1 注意

爬蟲文件需要定義一個類，并繼承scrapy.spiders.Spider

必須定義name，即爬蟲名，如果沒有name，會報錯。因為源碼中是這樣定義的

2.2 編寫內(nèi)容

在這里可以告訴 scrapy 。要如何查找確切數(shù)據(jù)，這里必須要定義一些屬性

name: 它定義了蜘蛛的唯一名稱

allowed_domains: 它包含了蜘蛛抓取的基本URL；

start-urls: 蜘蛛開始爬行的URL列表；

parse(): 這是提取并解析刮下數(shù)據(jù)的方法；

下面的代碼演示了蜘蛛代碼的樣子：

import scrapy
class DoubanSpider(scrapy.Spider):
  name = 'douban'
  allwed_url = 'douban.com'
  start_urls = [
    'https://movie.douban.com/top250/'
  ]
  def parse(self, response):
    movie_name = response.xpath("http://div[@class='item']//a/span[1]/text()").extract()
    movie_core = response.xpath("http://div[@class='star']/span[2]/text()").extract()
    yield {
      'movie_name':movie_name,
      'movie_core':movie_core
    }

到此這篇關于python爬蟲用scrapy獲取影片的實例分析的文章就介紹到這了,更多相關python爬蟲如何用scrapy獲取影片內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！

您可能感興趣的文章:

用60行代碼實現(xiàn)Python自動搶微信紅包
這篇文章主要介紹了用60行代碼實現(xiàn)Python自動搶微信紅包，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
2021-02-02
OpenCV之理解KNN鄰近算法k-Nearest?Neighbour
這篇文章主要為大家介紹了OpenCV之理解KNN鄰近算法k-Nearest?Neighbour，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪
2023-05-05
Python 實現(xiàn)圖片色彩轉換案例
我們在看動漫、影視作品中，當人物在回憶過程中，體現(xiàn)出來的畫面一般都是黑白或者褐色的。本文將提供將圖片色彩轉為黑白或者褐色風格的案例詳解，感興趣的小伙伴可以了解一下。
2021-11-11
Python字符串格式化f-string多種功能實現(xiàn)
這篇文章主要介紹了Python字符串格式化f-string格式多種功能實現(xiàn),文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
2020-05-05
詳解Python排序算法的實現(xiàn)(冒泡,選擇,插入,快速)
這篇文章主要為大家介紹了Python中常見的四種排序算法的實現(xiàn)：冒泡排序、選擇排序、插入排序和快速排序，文中通過圖片詳細講解了它們實現(xiàn)的原理與代碼，需要的可以參考一下
2022-04-04
pycharm代碼刪除恢復的方法
pycharm是一個很強大的編輯工具，很多朋友在使用過程中容易產(chǎn)生誤操作，那么一不小心刪除了，怎么恢復呢，今天就給大家介紹pycharm代碼刪除恢復教程，需要的朋友參考下吧
2021-06-06
Python如何配置環(huán)境變量詳解
今天帶大家學習python如何配置環(huán)境變量,文中有非常詳細的步驟,對正在學習python的小伙伴們有很好地幫助,需要的朋友可以參考下
2021-05-05
python matplotlib模塊基本圖形繪制方法小結【直線，曲線，直方圖，餅圖等】
這篇文章主要介紹了python matplotlib模塊基本圖形繪制方法,結合實例形式總結分析了Python使用matplotlib模塊繪制直線，曲線，直方圖，餅圖等圖形的相關操作技巧,需要的朋友可以參考下
2020-04-04
pytorch 模擬關系擬合——回歸實例
今天小編就為大家分享一篇pytorch 模擬關系擬合——回歸實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2020-01-01
python3利用ctypes傳入一個字符串類型的列表方法
今天小編就為大家分享一篇python3利用ctypes傳入一個字符串類型的列表方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2019-02-02