python中Scrapy?shell的使用
前言：
我們想要在爬蟲中使用xpath、beautifulsoup、正則表達(dá)式，css選擇器等來(lái)提取想要的數(shù)據(jù)，但是因?yàn)?code>scrapy是一個(gè)比較重的框架，每次運(yùn)行都要等到一段時(shí)間，因此要去驗(yàn)證我們提取規(guī)則是否正確，是一個(gè)比較麻煩的事情，因此，scrapy提供了一個(gè)shell。用來(lái)方便的測(cè)試規(guī)則，當(dāng)然也不僅僅局限于這一個(gè)功能。
打開Scrapy shell：
進(jìn)入命令行終端，進(jìn)入到scrapy項(xiàng)目所在的目錄，然后進(jìn)入到scrapy框架所在的虛擬環(huán)境中，輸入命令 scrapy shell [鏈接] ，就會(huì)進(jìn)入到scrapy的shell環(huán)境中。在這個(gè)環(huán)境中，你可以跟在爬蟲的parse方法中一樣使用了。
進(jìn)入到scrapy項(xiàng)目所在的目錄：
cd /Volumes/development/Python_learn/PycharmProjects/scrapy_demo/bmw_img_demo/
進(jìn)入到scrapy框架所在的虛擬環(huán)境中：
?source /Volumes/development/Python_learn/PycharmProjects/venv/crawler_evn/bin/activate
輸入命令 scrapy shell [鏈接] :
rapy shell https://car.autohome.com.cn/pic/series/66.html
輸入我們需要測(cè)試的語(yǔ)句：
? ? ? ?srcs = response.xpath('//div[contains(@class,"uibox-con")]/ul/li/a/img/@src').getall()
到此這篇關(guān)于python入門之Scrapy shell的使用的文章就介紹到這了,更多相關(guān)Scrapy shell的使用內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
- mac下給python3安裝requests庫(kù)和scrapy庫(kù)的實(shí)例
- python實(shí)戰(zhàn)項(xiàng)目scrapy管道學(xué)習(xí)爬取在行高手?jǐn)?shù)據(jù)
- python爬蟲框架Scrapy基本應(yīng)用學(xué)習(xí)教程
- python爬蟲框架scrapy代理中間件掌握學(xué)習(xí)教程
- python爬蟲之scrapy框架詳解
- Python爬蟲Scrapy框架IP代理的配置與調(diào)試
- 通過(guò)淘寶數(shù)據(jù)爬蟲學(xué)習(xí)python?scrapy?requests與response對(duì)象
相關(guān)文章
Python內(nèi)置的HTTP協(xié)議服務(wù)器SimpleHTTPServer使用指南
這篇文章主要介紹了Python內(nèi)置的HTTP協(xié)議服務(wù)器SimpleHTTPServer使用指南,SimpleHTTPServer本身的功能十分簡(jiǎn)單,文中介紹了需要的朋友可以參考下2016-03-03
Python常見數(shù)據(jù)類型轉(zhuǎn)換操作示例
這篇文章主要介紹了Python常見數(shù)據(jù)類型轉(zhuǎn)換操作,結(jié)合實(shí)例形式分析了Python針對(duì)列表、集合、元組、字典等數(shù)據(jù)類型轉(zhuǎn)換的相關(guān)操作技巧,需要的朋友可以參考下2019-05-05
在本篇文章里小編給大家整理的是關(guān)于python實(shí)發(fā)郵件的相關(guān)知識(shí)點(diǎn)內(nèi)容，有需要的朋友們學(xué)習(xí)下。2019-11-11
本篇文章主要介紹了tensorflow輸出權(quán)重值和偏差的方法，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2018-02-02
Python區(qū)塊鏈創(chuàng)建Block Class教程
這篇文章主要為大家介紹了Python區(qū)塊鏈創(chuàng)建Block Class教程詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-05-05
為了簡(jiǎn)化數(shù)據(jù)類型的寫入和獲取，今天我們來(lái)學(xué)習(xí)一個(gè)新的知識(shí)點(diǎn)——序列化。通過(guò)學(xué)習(xí)序列化，可以不必過(guò)分擔(dān)心寫入文件的數(shù)據(jù)類型是什么，并且讀取文件也可以非常輕松的還原數(shù)據(jù)類型。感興趣的可以了解一下2022-03-03
Python爬蟲 bilibili視頻彈幕提取過(guò)程詳解
這篇文章主要介紹了Python爬蟲 bilibili視頻彈幕提取過(guò)程詳解,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-07-07
Python?matplotlib之折線圖的各種樣式與畫法總結(jié)
matplotlib是Python中的一個(gè)第三方庫(kù),主要用于開發(fā)2D圖表，以漸進(jìn)式、交互式的方式實(shí)現(xiàn)數(shù)據(jù)可視化，可以更直觀的呈現(xiàn)數(shù)據(jù)，使數(shù)據(jù)更具說(shuō)服力,下面這篇文章主要給大家介紹了關(guān)于Python?matplotlib之折線圖的各種樣式與畫法的相關(guān)資料,需要的朋友可以參考下2022-12-12
裝飾器經(jīng)常被用于有切面需求的場(chǎng)景，較為經(jīng)典的有插入日志、性能測(cè)試、事務(wù)處理等。裝飾器是解決這類問(wèn)題的絕佳設(shè)計(jì)，有了裝飾器，我們就可以抽離出大量函數(shù)中與函數(shù)功能本身無(wú)關(guān)的雷同代碼并繼續(xù)重用。裝飾器的作用就是為已經(jīng)存在的對(duì)象添加額外的功能。2021-06-06
快速排序的算法思想及Python版快速排序的實(shí)現(xiàn)示例
快速排序算法來(lái)源于分治法的思想策略,這里我們將來(lái)為大家簡(jiǎn)單解析一下快速排序的算法思想及Python版快速排序的實(shí)現(xiàn)示例:2016-07-07