快捷導(dǎo)航

Pycharm安裝scrapy及初始化爬蟲(chóng)項(xiàng)目的完整步驟

更新時(shí)間：2022年08月06日 10:32:46 作者：_碼農(nóng)耕地人

因?yàn)槿腴T(mén)python以來(lái)一直使用pycharm,所以對(duì)著黑白的DOS不習(xí)慣,所以此次來(lái)實(shí)現(xiàn)使用pycharm進(jìn)行實(shí)現(xiàn)使用scrapy框架,下面這篇文章主要給大家介紹了關(guān)于Pycharm安裝scrapy及初始化爬蟲(chóng)項(xiàng)目的完整步驟,需要的朋友可以參考下

一）安裝scrapy：

1、打開(kāi)cmd命令窗口，輸入：pip install Scrapy。

2、安裝成功之后會(huì)顯示下面字符，表示未將scrapy設(shè)置到環(huán)境變量。

3、配置環(huán)境變量：右鍵我的電腦-->屬性-->高級(jí)設(shè)置--->環(huán)境變量---->系統(tǒng)變量中的Path--->編輯--->添加--->將上文中黃色的路徑添加到環(huán)境變量即可。

4、scrapy安裝完畢。

二）創(chuàng)建一個(gè)scrapy爬蟲(chóng)項(xiàng)目：

1、創(chuàng)建一個(gè)普通的Pycharm項(xiàng)目，然后找到下面的terminal

2、輸入命令scrapy startproject 模塊名稱(chēng)(可以自己隨便起，我以名為mine為例)，成功之后你會(huì)發(fā)現(xiàn)自己的項(xiàng)目中多了一個(gè)mine的包文件。

3、上述操作成功后終端會(huì)顯示下圖文字：此時(shí)我們輸入cd那條命令。進(jìn)入目標(biāo)文件。

4、這時(shí)就可以創(chuàng)建爬蟲(chóng)目標(biāo)文件啦，

輸入scrapy genspider 爬取名網(wǎng)站域名

1、爬取名是自己隨便起的，比如我要爬百度那么我就可以起名為baidu

2、網(wǎng)站域名就是去掉 https:www. 剩下的部分，以博客園的為例：

網(wǎng)址為：https://www.cnblogs.com/

域名為 cnblogs.com

2和3操作截圖：

5、此時(shí)我們會(huì)在目錄里看見(jiàn)一個(gè)新的py文件：里自動(dòng)生成如下代碼：

三）開(kāi)啟pycharm對(duì)scrapy框架的調(diào)試功能：

由于pycharm沒(méi)有創(chuàng)建scrapy框架的模塊，所以我們想調(diào)試scrapy程序時(shí)要自己寫(xiě)一個(gè)小腳本來(lái)開(kāi)啟pycharm對(duì)scrapy的調(diào)試功能。

1、在與mine包同級(jí)條件下創(chuàng)建一個(gè)main.py文件：

2、mine文件將一下代碼賦值進(jìn)去：

import os
import sys
 
from scrapy.cmdline import execute
 
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(["scrapy", "crawl", "cnblog"])  # 第三個(gè)參數(shù)為自己創(chuàng)建的那個(gè)爬取的名稱(chēng)

這樣就大功告成啦！

總結(jié)

到此這篇關(guān)于Pycharm安裝scrapy及初始化爬蟲(chóng)項(xiàng)目的文章就介紹到這了,更多相關(guān)Pycharm安裝scrapy初始化爬蟲(chóng)項(xiàng)目?jī)?nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: