欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Pycharm安裝scrapy及初始化爬蟲項目的完整步驟

 更新時間:2022年08月06日 10:32:46   作者:_碼農(nóng)耕地人  
因為入門python以來一直使用pycharm,所以對著黑白的DOS不習(xí)慣,所以此次來實現(xiàn)使用pycharm進行實現(xiàn)使用scrapy框架,下面這篇文章主要給大家介紹了關(guān)于Pycharm安裝scrapy及初始化爬蟲項目的完整步驟,需要的朋友可以參考下

一)安裝scrapy:

1、打開cmd命令窗口,輸入:pip install Scrapy。

2、安裝成功之后會顯示下面字符,表示未將scrapy設(shè)置到環(huán)境變量。

3、配置環(huán)境變量:右鍵我的電腦-->屬性-->高級設(shè)置--->環(huán)境變量---->系統(tǒng)變量中的Path--->編輯--->添加--->將上文中黃色的路徑添加到環(huán)境變量即可。

4、scrapy安裝完畢。

二)創(chuàng)建一個scrapy爬蟲項目:

1、創(chuàng)建一個普通的Pycharm項目,然后找到下面的terminal

 2、輸入命令scrapy startproject 模塊名稱(可以自己隨便起,我以名為mine為例),成功之后你會發(fā)現(xiàn)自己的項目中多了一個mine的包文件。

 3、上述操作成功后終端會顯示下圖文字:此時我們輸入cd那條命令。進入目標(biāo)文件。

 4、這時就可以創(chuàng)建爬蟲目標(biāo)文件啦,

        輸入scrapy genspider 爬取名 網(wǎng)站域名

1、爬取名是自己隨便起的,比如我要爬百度那么我就可以起名為baidu

2、網(wǎng)站域名就是去掉  https:www.  剩下的部分,以博客園的為例:

網(wǎng)址為:https://www.cnblogs.com/

域名為 cnblogs.com

 2和3操作截圖: 

5、此時我們會在目錄里看見一個新的py文件:里自動生成如下代碼:

三)開啟pycharm對scrapy框架的調(diào)試功能:

由于pycharm沒有創(chuàng)建scrapy框架的模塊,所以我們想調(diào)試scrapy程序時要自己寫一個小腳本來開啟pycharm對scrapy的調(diào)試功能。

 1、在與mine包同級條件下創(chuàng)建一個main.py文件:

 2、mine文件將一下代碼賦值進去:

import os
import sys
 
from scrapy.cmdline import execute
 
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(["scrapy", "crawl", "cnblog"])  # 第三個參數(shù)為自己創(chuàng)建的那個爬取的名稱

 這樣就大功告成啦!

總結(jié)

到此這篇關(guān)于Pycharm安裝scrapy及初始化爬蟲項目的文章就介紹到這了,更多相關(guān)Pycharm安裝scrapy初始化爬蟲項目內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • 解決python將xml格式文件轉(zhuǎn)換成txt文件的問題(xml.etree方法)

    解決python將xml格式文件轉(zhuǎn)換成txt文件的問題(xml.etree方法)

    從數(shù)據(jù)分析的角度去看xml格式的數(shù)據(jù)集,具有簡單性,結(jié)構(gòu)和內(nèi)容分離、可擴展性的特征,今天通過本文給大家分享python將xml格式文件轉(zhuǎn)換成txt文件的問題及解決方法(xml.etree方法),感興趣的朋友一起看看吧
    2021-09-09
  • python 利用matplotlib在3D空間繪制二次拋物面的案例

    python 利用matplotlib在3D空間繪制二次拋物面的案例

    這篇文章主要介紹了python 利用matplotlib在3D空間繪制二次拋物面的案例,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2021-02-02
  • python方法生成txt標(biāo)簽文件的實例代碼

    python方法生成txt標(biāo)簽文件的實例代碼

    今天小編就為大家分享一篇python方法生成txt標(biāo)簽文件的實例代碼,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2018-05-05
  • python實現(xiàn)貪吃蛇游戲

    python實現(xiàn)貪吃蛇游戲

    這篇文章主要為大家詳細(xì)介紹了python實現(xiàn)貪吃蛇游戲,文中示例代碼介紹的非常詳細(xì),具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2019-01-01
  • 快速排序的算法思想及Python版快速排序的實現(xiàn)示例

    快速排序的算法思想及Python版快速排序的實現(xiàn)示例

    快速排序算法來源于分治法的思想策略,這里我們將來為大家簡單解析一下快速排序的算法思想及Python版快速排序的實現(xiàn)示例:
    2016-07-07
  • Python?munch包?/Munch()?的用法詳解

    Python?munch包?/Munch()?的用法詳解

    這篇文章主要介紹了Python?munch包?/Munch()?的用法,本文通過實例代碼給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下
    2022-09-09
  • python?opencv的imread方法無法讀取圖片問題

    python?opencv的imread方法無法讀取圖片問題

    這篇文章主要介紹了python?opencv的imread方法無法讀取圖片問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
    2023-08-08
  • 查看Django和flask版本的方法

    查看Django和flask版本的方法

    今天小編就為大家分享一篇查看Django和flask版本的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2018-05-05
  • Numpy之random函數(shù)使用學(xué)習(xí)

    Numpy之random函數(shù)使用學(xué)習(xí)

    這篇文章主要介紹了Numpy之random使用學(xué)習(xí),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2019-01-01
  • Python3-異步進程回調(diào)函數(shù)(callback())介紹

    Python3-異步進程回調(diào)函數(shù)(callback())介紹

    這篇文章主要介紹了Python3-異步進程回調(diào)函數(shù)(callback())介紹,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-05-05

最新評論