Python3環(huán)境安裝Scrapy爬蟲框架過(guò)程及常見錯(cuò)誤
Windows
•安裝lxml
最好的安裝方式是通過(guò)wheel文件來(lái)安裝，http://www.lfd.uci.edu/~gohlke/pythonlibs/，從該網(wǎng)站找到lxml的相關(guān)文件。假如是Python3.5版本，WIndows 64位系統(tǒng)，那就找到lxml‑3.7.2‑cp35‑cp35m‑win_amd64.whl 這個(gè)文件并下載，然后通過(guò)pip安裝。
下載之后，運(yùn)行如下命令安裝：
pip3 install wheel pip3 install lxml‑3.7.2‑cp35‑cp35m‑win_amd64.whl
即可完成lxml的安裝，其他文件替換文件名即可。
•安裝zope.interface
到官方網(wǎng)站https://pypi.python.org/pypi/zope.interface#downloads下載對(duì)應(yīng)版本的wheel文件，然后pip安裝。比如Python 3.5版本，Windows 64位系統(tǒng)，就下載zope.interface-4.3.3-cp35-cp35m-win_amd64.whl。
然后安裝wheel文件即可，命令如下：
pip3 install zope.interface-4.3.3-cp35-cp35m-win_amd64.whl
其他版本替換文件名即可。
•安裝pyOpenSSL
官方網(wǎng)站下載wheel文件，https://pypi.python.org/pypi/pyOpenSSL#downloads，如當(dāng)前最新版本名稱是pyOpenSSL-16.2.0-py2.py3-none-any.whl，下載后安裝即可。
pip3 install pyOpenSSL-16.2.0-py2.py3-none-any.whl
•安裝Twisted
同理，http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted下載wheel文件，利用pip安裝即可。
如Python 3.5版本，Windows 64位系統(tǒng)，下載
Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl，然后pip安裝。
pip3 install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl
•安裝pywin32
從官方網(wǎng)站 https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/ 下載對(duì)應(yīng)版本的安裝包安裝即可。
•安裝Scrapy
最后安裝Scrapy即可，依然使用pip，命令如下：
pip3 install Scrapy
ps：下面看下Python 3.6 安裝scrapy報(bào)錯(cuò) Python.h: 沒有那個(gè)文件或目錄
安裝scrapy的時(shí)候報(bào)錯(cuò)，其實(shí)這個(gè)錯(cuò)誤是一個(gè)間接，由其依賴引起。
如果你是Python2.X
sudo apt-get install python-dev
如果是python3.6 以下的
sudo apt-get install python3-dev
如果是Python3.6的
sudo apt-get install python3.6-dev
最后一個(gè)好變態(tài),我一直在更新自己的Python3-dev 一直報(bào)錯(cuò),最后猜一下竟然真的有Python3.6-dev...心累.
總結(jié)
以上所述是小編給大家介紹的Python3環(huán)境安裝Scrapy爬蟲框架過(guò)程及常見錯(cuò)誤,希望對(duì)大家有所幫助，如果大家有任何疑問(wèn)請(qǐng)給我留言，小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)腳本之家網(wǎng)站的支持！
如果你覺得本文對(duì)你有幫助，歡迎轉(zhuǎn)載，煩請(qǐng)注明出處，謝謝！
相關(guān)文章
python3.4下django集成使用xadmin后臺(tái)的方法
本篇文章主要介紹了python3.4下django集成使用xadmin后臺(tái)的方法，具有一定的參加價(jià)值，有興趣的可以了解一下2017-08-08
今天小編就為大家分享一篇django 修改server端口號(hào)的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-05-05
python dict remove數(shù)組刪除(del,pop)
我們?cè)谟脭?shù)組列表做刪除的時(shí)候，可能選擇2個(gè)方法，一個(gè)是del,一個(gè)是pop方法2013-03-03
這篇文章主要介紹了python 批量將PPT導(dǎo)出成圖片集的案例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-03-03
舉例講解Python設(shè)計(jì)模式編程的代理模式與抽象工廠模式
這篇文章主要介紹了Python編程的代理模式與抽象工廠模式,文中舉了兩個(gè)簡(jiǎn)單的小例子來(lái)說(shuō)明這兩種設(shè)計(jì)模式的思路在Python編程中的體現(xiàn),需要的朋友可以參考下2016-01-01
Scrapy是一個(gè)為了爬取網(wǎng)站數(shù)據(jù)提取結(jié)構(gòu)性數(shù)據(jù)而編寫的應(yīng)用框架。這篇文章主要介紹了Python安裝scrapy的正確姿勢(shì),非常不錯(cuò)，具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2018-06-06
這篇文章主要介紹了python函數(shù)式編程實(shí)例,使用一個(gè)例子來(lái)闡述python函數(shù)式編程,需要的朋友可以參考下2014-06-06
Python使用OpenCV對(duì)圖像進(jìn)行縮放功能
這篇文章主要介紹了Python使用OpenCV對(duì)圖像進(jìn)行縮放功能,文中給大家提到了兩種調(diào)用方式及OpenCV中pryUp和pryDown的用法，本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2022-03-03
Python發(fā)送郵件封裝實(shí)現(xiàn)過(guò)程詳解
這篇文章主要介紹了Python發(fā)送郵件封裝實(shí)現(xiàn)過(guò)程詳解,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-05-05
這篇文章主要介紹了幾個(gè)Python自動(dòng)化辦公的技巧，可以大大提高工作效率，例如：Word文檔doc轉(zhuǎn)docx、Excel文件批量合并、Word文件批量轉(zhuǎn)pdf等，需要的可以參考一下2022-01-01