詳解Python安裝scrapy的正確姿勢
運(yùn)行平臺:Windows
Python版本:Python3.x
IDE:Sublime text3
一、Scrapy簡介
Scrapy是一個為了爬取網(wǎng)站數(shù)據(jù)提取結(jié)構(gòu)性數(shù)據(jù)而編寫的應(yīng)用框架,可以應(yīng)用于數(shù)據(jù)挖掘,信息處理或存儲歷史數(shù)據(jù)等一些列的程序中。Scrapy最初就是為了網(wǎng)絡(luò)爬取而設(shè)計(jì)的?,F(xiàn)在,Scrapy已經(jīng)推出了曾承諾過的Python3.x版本。
為什么學(xué)習(xí)Scrapy呢?它能我們更好的完成爬蟲任務(wù),自己寫Python爬蟲程序好比孤軍奮戰(zhàn),而使用了Scrapy就好比手底下有了千軍萬馬。Scrapy可以起到事半功倍(甚至好幾倍*.*)的效果。所以,學(xué)習(xí)Scrapy也就顯得很有必要了。
二、Scrapy安裝
1.直接使用指令pip3 install scrapy,發(fā)現(xiàn)有諸多錯誤。
- Failed building wheel for lxml
- Microsoft Visual C++ 10.0 is required
- Failed building twisted
- Unable to find vcvarsall.bat
遇到的錯誤,如下圖所示:
2.解決辦法
(1)在cmd中輸入指令python,查看python的版本,如下:
從上圖可以看出可以看出我的Python版本為Python3.5.2-64bit。
(2)登陸http://www.lfd.uci.edu/~gohlke/pythonlibs/,Ctrl+F搜索Lxml、Twisted、Scrapy,下載對應(yīng)的版本,例如:lxml-3.7.3-cp35-cp35m-win_adm64.whl,表示lxml的版本為3.7.3,對應(yīng)的python版本為3.5-64bit。我下載的版本如下圖所示:
在cmd中輸入DOS指令,進(jìn)入下載好的whl文件夾下,例如我的三個whl文件放在了Scrapy文件夾下:
(4)依次執(zhí)行如下命令:
a.pip3 install wheel
b.pip3 install lxml-3.7.3-cp35-cp35m-win_amd64.whl
c.pip3 install Twisted-17.1.0-cp35-cp35m-win_amd64.whl
d.pip3 install Scrapy-1.3.2-py2.py3-none-any.whl
這樣Scrapy的安裝就完成了,請忽略最后兩行讓我升級pip的信息。*.*
(5)Srapy已經(jīng)安裝成功,還要下載pywin32,找到對應(yīng)版本下載,一路下一步安裝即可。安裝完成后,就可以正常使用Scrapy了。
URL:https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/
至此,大功告成,我們可以愉快的使用Scrapy了。
總結(jié)
以上所述是小編給大家介紹的Python安裝scrapy的正確姿勢,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時(shí)回復(fù)大家的。在此也非常感謝大家對腳本之家網(wǎng)站的支持!
- 在python3.9下如何安裝scrapy的方法
- Python3環(huán)境安裝Scrapy爬蟲框架過程及常見錯誤
- 圖文詳解python安裝Scrapy框架步驟
- 詳解Python網(wǎng)絡(luò)框架Django和Scrapy安裝指南
- mac下給python3安裝requests庫和scrapy庫的實(shí)例
- Python之Scrapy爬蟲框架安裝及簡單使用詳解
- Python2.7下安裝Scrapy框架步驟教程
- Python3安裝Scrapy的方法步驟
- python安裝Scrapy圖文教程
- python中安裝Scrapy模塊依賴包匯總
- windows10系統(tǒng)中安裝python3.x+scrapy教程
- 在Linux系統(tǒng)上安裝Python的Scrapy框架的教程
- Python安裝Scrapy庫的常見報(bào)錯解決
相關(guān)文章
python實(shí)現(xiàn)ip地址的包含關(guān)系判斷
這篇文章主要介紹了python實(shí)現(xiàn)ip地址的包含關(guān)系判斷,本文通過實(shí)例代碼給大家介紹的非常詳細(xì),具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-02-02python程序?qū)崿F(xiàn)BTC(比特幣)挖礦的完整代碼
這篇文章主要介紹了python程序?qū)崿F(xiàn)BTC(比特幣)挖礦的完整代碼,本文給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2021-01-01Python之批量創(chuàng)建文件的實(shí)例講解
今天小編就為大家分享一篇Python之批量創(chuàng)建文件的實(shí)例講解,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-05-05Django基礎(chǔ)CBV裝飾器和中間件的應(yīng)用示例
這篇文章主要為大家介紹了Django基礎(chǔ)CBV裝飾器和中間件的應(yīng)用示例,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2022-03-03Python面向?qū)ο笾接袑傩院退接蟹椒☉?yīng)用案例分析
這篇文章主要介紹了Python面向?qū)ο笾接袑傩院退接蟹椒?結(jié)合具體案例形式簡單分析了面向?qū)ο蟪绦蛟O(shè)計(jì)中私有屬性與私有方法的基本功能與使用注意事項(xiàng),需要的朋友可以參考下2019-12-12PYTHON基礎(chǔ)-時(shí)間日期處理小結(jié)
PYTHON時(shí)間日期處理函數(shù)以datetime為中心, 起點(diǎn)或中轉(zhuǎn), 轉(zhuǎn)化為目標(biāo)對象, 涵蓋了大多數(shù)業(yè)務(wù)場景中需要的日期轉(zhuǎn)換處理,這里就為大家介紹一下,需要的朋友可以參考下2018-05-05