由于畢業(yè)設(shè)計(jì)的要求，需要在網(wǎng)站上抓取大量的數(shù)據(jù)，那么使用Scrapy框架可以讓這一過程變得簡(jiǎn)單不少，畢竟Scrapy是一個(gè)為了爬去網(wǎng)站數(shù)據(jù)、提取結(jié)構(gòu)性數(shù)據(jù)而編寫的應(yīng)用框架。于是，便開始了我的安裝Scrapy框架之旅?？梢哉f這個(gè)過程并不是很愉快，各種錯(cuò)誤各種出，不過到最后，終于安裝上了Scrapy框架。下面總結(jié)一下我的Scrapy框架的安裝。

1.安裝python2.7

由于Scrapy不支持Python3.0，于是我卸載了Python3.0，又重新安裝了Python2.7(python2.7安裝包),在安裝Python2.7的時(shí)候，會(huì)有一個(gè)自動(dòng)設(shè)置環(huán)境變量的選項(xiàng)，建議在這里將選項(xiàng)選上，省下后期自己添加環(huán)境變量。我們后期自己添加環(huán)境變量，就是根據(jù)自己實(shí)際安裝的路徑，在系統(tǒng)的環(huán)境變量path中添加這兩條語句就可以。

在配置完環(huán)境之后，我們測(cè)試一下我們是否安裝配置環(huán)境成功。只要在cmd中輸入 python –version ，然后能夠顯示正確的python版本就可以了。如果未能顯示，則重啟一下cmd試試。

2.安裝pywin32

在安裝配置好python2.7之后，我們還不能直接安裝Scrapy，我們首先需要安裝Scrapy依賴的幾個(gè)工具。接下來安裝pywin32（pywin32安裝包），這個(gè)軟件安裝的時(shí)候一直next就可以了。

3.安裝pip

pip實(shí)際上一款比較方便的在線軟件安裝工具，類似于easy install,我們現(xiàn)在安裝pip，在之后的軟件安裝的時(shí)候我們就可以使用 pip install 命令了。首先我們要下載get-pip.py(get-pip.py文件) ，下載完成之后，我們?cè)赾md下進(jìn)行安裝，首先切換到文件所在目錄，然后輸入python get-pip.py語句，便可以進(jìn)行安裝了，但是最頭疼的問題出現(xiàn)了，由于該文件會(huì)將一些配置文件自動(dòng)寫入到我們的C盤用戶文件目錄下，而我的用戶目錄是中文名，就會(huì)產(chǎn)生編碼異常。

在查找一番資料之后，終于將問題解決了，為了解決中文路徑的問題，我們只需要在 D:\python27\Lib\site-packages的目錄下新建一個(gè)名為
sitecustomize.py的文件即可。

然后在文件內(nèi)輸入以下代碼：

import sys
reload(sys)
sys.setdefaultencoding('gbk')

當(dāng)然不一定一定要設(shè)置為gbk編碼，這個(gè)根據(jù)自己的電腦的編碼來設(shè)置。這樣我們的中文路徑問題就算解決了，我們?cè)谥貑md，在執(zhí)行安裝pip語句之后，pip便順利完成了。安裝完成之后，我們可以進(jìn)行一下檢驗(yàn)，在cmd中輸入pip –version,如果顯示正確的版本號(hào)則說明正確。

4.安裝lxml

在安裝完成pip之后，本想可以輕松的使用pip install lxml命令來進(jìn)行安裝，但是意外發(fā)生了，由于使用pip需要vc2008的環(huán)境，而且只能是2008的，2013的都不行。沒辦法為了使用這款工具，只能在去求教度娘，終于找到了解決辦法，原來微軟給我們提供了VcForPython（VCForPython安裝包），這樣我們就不用安裝VC2008了，這樣之后，我們便可以使用 pip install lxml進(jìn)行安裝了。

5.安裝pyOpenSSL

在安裝這個(gè)工具的時(shí)候我們便可以使用 pip install pyOpenSSL 語句來進(jìn)行安裝了，安裝的速度取決于網(wǎng)速了。

6.安裝Scrapy

終于經(jīng)歷一波坎坷之后，我們終于可以安裝Scrapy框架了，在cmd中輸入 pip install Scrapy命令之后，我們就可以等著享受成功的喜悅了。在安裝完成之后，我們?cè)赾md中輸入Scrapy來檢測(cè)一下，是否真正的安裝成功。

終于安裝好了，還是有點(diǎn)成就感的。

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

最新評(píng)論