欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Pycharm+Scrapy安裝并且初始化項(xiàng)目的方法

 更新時間：2019年01月15日 15:10:24   作者：方naoke  
今天小編就為大家分享一篇Pycharm+Scrapy安裝并且初始化項(xiàng)目的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧

前言

Scrapy是一個開源的網(wǎng)絡(luò)爬蟲框架，Python編寫的。最初設(shè)計用于網(wǎng)頁抓取，也可以用來提取數(shù)據(jù)使用API或作為一個通用的網(wǎng)絡(luò)爬蟲。是數(shù)據(jù)采集不可必備的利器。

安裝

pip install scrapy

如果使用上面的命令太慢。國內(nèi)可以使用豆瓣源進(jìn)行加速。

pip install -i https://pypi.douban.com/simple scrapy

注意要寫錯了，是 https://pypi.douban.com/simple 很多包都可以使用這個源進(jìn)行加速，這也是pip的一個技巧，還可以使用阿里云進(jìn)行加速。

安裝完成之后在命令行輸入

scrapy -v

如果出現(xiàn)了相應(yīng)的版本號就說明安裝成功。

創(chuàng)建項(xiàng)目

目前還沒有IDE 能夠創(chuàng)建scrapy的項(xiàng)目，我們必須手動初始化項(xiàng)目。

1、找一個目錄

輸入命令

scrapy startproject SpiderObject

命令行出現(xiàn)這樣的結(jié)果說明創(chuàng)建成果

You can start your first spider with:
 cd SpiderObject
 scrapy genspider example example.com

去文件夾中看看

Pycharm+Scrapy安裝并且初始化項(xiàng)目

初始化項(xiàng)目

使用pycharm打開該項(xiàng)目

Pycharm+Scrapy安裝并且初始化項(xiàng)目

如果出現(xiàn)這個頁面就說明對了。

Pycharm+Scrapy安裝并且初始化項(xiàng)目

下面生成一個模板

打開pycharm的terminal

Pycharm+Scrapy安裝并且初始化項(xiàng)目

輸入

scrapy genspider BiduSpider http://www.baidu.com

我們的spider 包下面會多一個文件

Pycharm+Scrapy安裝并且初始化項(xiàng)目

這說明我們的spider創(chuàng)建成功。可以在pytharm中使用這個 強(qiáng)大的框架了。

以上這篇Pycharm+Scrapy安裝并且初始化項(xiàng)目的方法就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。

相關(guān)文章

最新評論