Python3爬蟲中pyspider的安裝步驟
pyspider是國(guó)人binux編寫的強(qiáng)大的網(wǎng)絡(luò)爬蟲框架，它帶有強(qiáng)大的WebUI、腳本編輯器、任務(wù)監(jiān)控器、項(xiàng)目管理器以及結(jié)果處理器，同時(shí)支持多種數(shù)據(jù)庫(kù)后端、多種消息隊(duì)列，另外還支持JavaScript渲染頁(yè)面的爬取，使用起來(lái)非常方便，本節(jié)介紹一下它的安裝過(guò)程。
1. 相關(guān)鏈接
官方文檔：http://docs.pyspider.org/
PyPI：https://pypi.python.org/pypi/pyspider
GitHub：https://github.com/binux/pyspider
官方教程：http://docs.pyspider.org/en/latest/tutorial
在線實(shí)例：http://demo.pyspider.org
2. 準(zhǔn)備工作
pyspider是支持JavaScript渲染的，而這個(gè)過(guò)程是依賴于PhantomJS的，所以還需要安裝PhantomJS（具體的安裝過(guò)程詳見(jiàn)1.2.5節(jié)）。
3. pip安裝
這里推薦使用pip安裝，命令如下：
pip3 install pyspider
命令執(zhí)行完畢即可完成安裝。
4. 常見(jiàn)錯(cuò)誤
Windows下可能會(huì)出現(xiàn)這樣的錯(cuò)誤提示：
Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-vXo1W3/pycurl
這是PyCurl安裝錯(cuò)誤，此時(shí)需要安裝PyCurl庫(kù)。從http://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl找到對(duì)應(yīng)的Python版本，然后下載相應(yīng)的wheel文件即可。比如Windows 64位、Python 3.6，則需要下載pycurl‑7.43.0‑cp36‑cp36m‑win_amd64.whl，隨后用pip安裝即可，命令如下：
pip3 install pycurl‑7.43.0‑cp36‑cp36m‑win_amd64.whl
如果在Linux下遇到PyCurl的錯(cuò)誤，可以參考本文：http://www.dbjr.com.cn/article/192094.htm。
5. 驗(yàn)證安裝
安裝完成之后，可以直接在命令行下啟動(dòng)pyspider：
pyspider all
此時(shí)控制臺(tái)會(huì)有類似如圖1-74所示的輸出。
這時(shí)pyspider的Web服務(wù)就會(huì)在本地5000端口運(yùn)行。直接在瀏覽器中打開(kāi)http://localhost:5000/，即可進(jìn)入pyspider的WebUI管理頁(yè)面，如圖1-75所示，這證明pyspider已經(jīng)安裝成功了。
后面，我們會(huì)詳細(xì)介紹pyspider的用法。
到此這篇關(guān)于Python3爬蟲中pyspider的安裝步驟的文章就介紹到這了,更多相關(guān)Python3爬蟲pyspider的安裝內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
python實(shí)現(xiàn)人臉識(shí)別代碼
這篇文章主要介紹了python實(shí)現(xiàn)人臉識(shí)別代碼，還是比較不錯(cuò)的，這里分享個(gè)大家，共需要的朋友參考。2017-11-11
Python編程中time模塊的一些關(guān)鍵用法解析
這篇文章主要介紹了Python編程中time模塊的一些關(guān)鍵用法解析,像mktime和localtime以及gmtime這些常用方法都有講到,需要的朋友可以參考下2016-01-01
這篇文章主要介紹了使用python計(jì)算三角形的斜邊例子，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-04-04
今天小編就為大家分享一篇pytorch 模型可視化的例子，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-08-08
python mysql實(shí)現(xiàn)學(xué)生成績(jī)管理系統(tǒng)
這篇文章主要為大家詳細(xì)介紹了python mysql實(shí)現(xiàn)學(xué)生成績(jī)管理系統(tǒng)，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2021-10-10
Python超詳細(xì)講解內(nèi)存管理機(jī)制
本章主要介紹Pyhon的內(nèi)存管理，以Pyhon的計(jì)數(shù)機(jī)制作為引入，介紹Pyhon的內(nèi)存管理方式，感興趣的朋友來(lái)看看吧2022-06-06
MacBook m1芯片采用miniforge安裝python3.9的方法示例
這篇文章主要介紹了MacBook m1芯片采用miniforge安裝python3.9的方法示例，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2021-04-04
Python遍歷文件夾和讀寫文件的實(shí)現(xiàn)方法
本篇文章主要介紹了Python遍歷文件夾和讀寫文件的實(shí)現(xiàn)方法，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2017-05-05
這篇文章主要介紹了Python 3.8 新功能全解，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-07-07
Python繪圖之turtle庫(kù)的基礎(chǔ)語(yǔ)法使用
這篇文章主要給大家介紹了關(guān)于Python繪圖之turtle庫(kù)的基礎(chǔ)語(yǔ)法使用的相關(guān)資料, Turtle庫(kù)是Python語(yǔ)言中一個(gè)很流行的繪制圖像的函數(shù)庫(kù),再繪圖的時(shí)候經(jīng)常需要用到的一個(gè)庫(kù)需要的朋友可以參考下2021-06-06