欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

詳解Python安裝scrapy的正確姿勢(shì)

 更新時(shí)間：2018年06月26日 16:18:45   作者：公眾號(hào)Python6359  
Scrapy是一個(gè)為了爬取網(wǎng)站數(shù)據(jù)提取結(jié)構(gòu)性數(shù)據(jù)而編寫的應(yīng)用框架。這篇文章主要介紹了Python安裝scrapy的正確姿勢(shì),非常不錯(cuò)，具有一定的參考借鑒價(jià)值，需要的朋友可以參考下

運(yùn)行平臺(tái)：Windows

Python版本：Python3.x

IDE：Sublime text3

一、Scrapy簡(jiǎn)介

Scrapy是一個(gè)為了爬取網(wǎng)站數(shù)據(jù)提取結(jié)構(gòu)性數(shù)據(jù)而編寫的應(yīng)用框架，可以應(yīng)用于數(shù)據(jù)挖掘，信息處理或存儲(chǔ)歷史數(shù)據(jù)等一些列的程序中。Scrapy最初就是為了網(wǎng)絡(luò)爬取而設(shè)計(jì)的?，F(xiàn)在，Scrapy已經(jīng)推出了曾承諾過(guò)的Python3.x版本。

為什么學(xué)習(xí)Scrapy呢？它能我們更好的完成爬蟲任務(wù)，自己寫Python爬蟲程序好比孤軍奮戰(zhàn)，而使用了Scrapy就好比手底下有了千軍萬(wàn)馬。Scrapy可以起到事半功倍(甚至好幾倍*.*)的效果。所以，學(xué)習(xí)Scrapy也就顯得很有必要了。

二、Scrapy安裝

1.直接使用指令pip3 install scrapy，發(fā)現(xiàn)有諸多錯(cuò)誤。

  • Failed building wheel for lxml
  • Microsoft Visual C++ 10.0 is required
  • Failed building twisted
  • Unable to find vcvarsall.bat

遇到的錯(cuò)誤，如下圖所示：

2.解決辦法

(1)在cmd中輸入指令python，查看python的版本，如下：

從上圖可以看出可以看出我的Python版本為Python3.5.2-64bit。

(2)登陸http://www.lfd.uci.edu/~gohlke/pythonlibs/，Ctrl+F搜索Lxml、Twisted、Scrapy，下載對(duì)應(yīng)的版本，例如：lxml-3.7.3-cp35-cp35m-win_adm64.whl，表示lxml的版本為3.7.3，對(duì)應(yīng)的python版本為3.5-64bit。我下載的版本如下圖所示：

在cmd中輸入DOS指令，進(jìn)入下載好的whl文件夾下，例如我的三個(gè)whl文件放在了Scrapy文件夾下：

(4)依次執(zhí)行如下命令：

a.pip3 install wheel

b.pip3 install lxml-3.7.3-cp35-cp35m-win_amd64.whl

c.pip3 install Twisted-17.1.0-cp35-cp35m-win_amd64.whl

d.pip3 install Scrapy-1.3.2-py2.py3-none-any.whl

這樣Scrapy的安裝就完成了，請(qǐng)忽略最后兩行讓我升級(jí)pip的信息。*.*

(5)Srapy已經(jīng)安裝成功，還要下載pywin32，找到對(duì)應(yīng)版本下載，一路下一步安裝即可。安裝完成后，就可以正常使用Scrapy了。

URL：https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/

至此，大功告成，我們可以愉快的使用Scrapy了。

總結(jié)

以上所述是小編給大家介紹的Python安裝scrapy的正確姿勢(shì)，希望對(duì)大家有所幫助，如果大家有任何疑問(wèn)請(qǐng)給我留言，小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)腳本之家網(wǎng)站的支持！

相關(guān)文章

  • python批量修改文件名的示例

    python批量修改文件名的示例

    這篇文章主要介紹了python批量修改文件名的示例，幫助大家更好的使用python處理文件，感興趣的朋友可以了解下
    2020-09-09
  • python實(shí)現(xiàn)ip地址的包含關(guān)系判斷

    python實(shí)現(xiàn)ip地址的包含關(guān)系判斷

    這篇文章主要介紹了python實(shí)現(xiàn)ip地址的包含關(guān)系判斷,本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值，需要的朋友可以參考下
    2020-02-02
  • python程序?qū)崿F(xiàn)BTC（比特幣）挖礦的完整代碼

    python程序?qū)崿F(xiàn)BTC（比特幣）挖礦的完整代碼

    這篇文章主要介紹了python程序?qū)崿F(xiàn)BTC（比特幣）挖礦的完整代碼,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下
    2021-01-01
  • Python之批量創(chuàng)建文件的實(shí)例講解

    Python之批量創(chuàng)建文件的實(shí)例講解

    今天小編就為大家分享一篇Python之批量創(chuàng)建文件的實(shí)例講解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2018-05-05
  • Django基礎(chǔ)CBV裝飾器和中間件的應(yīng)用示例

    Django基礎(chǔ)CBV裝飾器和中間件的應(yīng)用示例

    這篇文章主要為大家介紹了Django基礎(chǔ)CBV裝飾器和中間件的應(yīng)用示例，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪
    2022-03-03
  • Python面向?qū)ο笾接袑傩院退接蟹椒☉?yīng)用案例分析

    Python面向?qū)ο笾接袑傩院退接蟹椒☉?yīng)用案例分析

    這篇文章主要介紹了Python面向?qū)ο笾接袑傩院退接蟹椒?結(jié)合具體案例形式簡(jiǎn)單分析了面向?qū)ο蟪绦蛟O(shè)計(jì)中私有屬性與私有方法的基本功能與使用注意事項(xiàng),需要的朋友可以參考下
    2019-12-12
  • 使用python的turtle繪畫滑稽臉實(shí)例

    使用python的turtle繪畫滑稽臉實(shí)例

    今天小編就為大家分享一篇使用python的turtle繪畫滑稽臉實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2019-11-11
  • PYTHON基礎(chǔ)-時(shí)間日期處理小結(jié)

    PYTHON基礎(chǔ)-時(shí)間日期處理小結(jié)

    PYTHON時(shí)間日期處理函數(shù)以datetime為中心, 起點(diǎn)或中轉(zhuǎn), 轉(zhuǎn)化為目標(biāo)對(duì)象, 涵蓋了大多數(shù)業(yè)務(wù)場(chǎng)景中需要的日期轉(zhuǎn)換處理，這里就為大家介紹一下,需要的朋友可以參考下
    2018-05-05
  • Python中函數(shù)的定義及其調(diào)用

    Python中函數(shù)的定義及其調(diào)用

    這篇文章主要介紹了Python中函數(shù)定義及其調(diào)用,感興趣的朋友可以來(lái)了解一下
    2021-06-06
  • python用opencv 圖像傅里葉變換

    python用opencv 圖像傅里葉變換

    這篇文章主要介紹了python用opencv 圖像傅里葉變換的方法，幫助大家更好的利用python處理圖片，感興趣的朋友可以了解下
    2021-01-01

最新評(píng)論