python中安裝Scrapy模塊依賴包匯總
本地虛擬環(huán)境開(kāi)發(fā)完成之后,上線過(guò)程中需要一一安裝依賴包,做個(gè)記錄如下:
CentOS 安裝python3.5.3
wget https://www.python.org/ftp/python/3.5.3/Python-3.5.3.tgz tar -xf Python-3.5.3.tgz cd Python-3.5.3 ./configure --prefix=/usr/local/python353 make & make install
完成安裝python3.5.3,在不刪除系統(tǒng)自帶的python2.x情況下,做幾個(gè)軟鏈:
#做python3軟鏈 ln -s /usr/local/python353/bin/python3 /usr/local/bin/ #pip3軟鏈 ln -s /usr/local/python353/bin/pip3 /usr/local/bin/
上傳程序,安裝scrapy及其依賴包:
#user agent包 pip3 install fake-useragent -i https://pypi.douban.com/simple/ #pymysql包 pip3 install pymysql -i https://pypi.douban.com/simple/ #PooledDB依賴包 pip3 install DBUtils -i https://pypi.douban.com/simple/ #PIL模塊依賴包 pip3 install Image -i https://pypi.douban.com/simple/
在Centos系統(tǒng)中安裝過(guò)程中,出現(xiàn)一個(gè)較為淡疼的問(wèn)題:系統(tǒng)沒(méi)有安裝sqlite3,故此一直提示:
解決上面問(wèn)題,下載sqlite3
sudo wget http://www.sqlite.org/2017/sqlite-autoconf-3190300.tar.gz
編譯安裝:
tar zxvf sqlite-autoconf-3190300.tar.gz cd sqlite-autoconf-3190300 ./configure --prefix=/usr/local/sqlite3 make && make install
重新編譯Python,找到Python3.5.3的安裝文件路徑,編輯setup.py腳本,找到 “sqlite3”
sqlite_inc_paths = [ '/usr/include', '/usr/include/sqlite', '/usr/include/sqlite3', '/usr/local/include', '/usr/local/include/sqlite', '/usr/local/include/sqlite3', ]
在最后一行加入sqlite3編譯安裝路徑,如下:
sqlite_inc_paths = [ '/usr/include', '/usr/include/sqlite', '/usr/include/sqlite3', '/usr/local/include', '/usr/local/include/sqlite', '/usr/local/include/sqlite3', '/usr/local/sqlite3', ]
重新編譯Python3.5.3:
./configure --prefix=/usr/local/python353 make && make install
- 在python3.9下如何安裝scrapy的方法
- Python3環(huán)境安裝Scrapy爬蟲(chóng)框架過(guò)程及常見(jiàn)錯(cuò)誤
- 圖文詳解python安裝Scrapy框架步驟
- 詳解Python網(wǎng)絡(luò)框架Django和Scrapy安裝指南
- 詳解Python安裝scrapy的正確姿勢(shì)
- mac下給python3安裝requests庫(kù)和scrapy庫(kù)的實(shí)例
- Python之Scrapy爬蟲(chóng)框架安裝及簡(jiǎn)單使用詳解
- Python2.7下安裝Scrapy框架步驟教程
- Python3安裝Scrapy的方法步驟
- python安裝Scrapy圖文教程
- windows10系統(tǒng)中安裝python3.x+scrapy教程
- 在Linux系統(tǒng)上安裝Python的Scrapy框架的教程
- Python安裝Scrapy庫(kù)的常見(jiàn)報(bào)錯(cuò)解決
相關(guān)文章
Tensorflow訓(xùn)練MNIST手寫(xiě)數(shù)字識(shí)別模型
這篇文章主要為大家詳細(xì)介紹了Tensorflow訓(xùn)練MNIST手寫(xiě)數(shù)字識(shí)別模型,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2020-02-02python連接MySQL、MongoDB、Redis、memcache等數(shù)據(jù)庫(kù)的方法
這篇文章主要介紹了python連接操作MySQL、MongoDB、Redis、memcache等數(shù)據(jù)庫(kù)的方法,大家可以參考使用2013-11-11Python如何把十進(jìn)制數(shù)轉(zhuǎn)換成ip地址
這篇文章主要介紹了Python如何把十進(jìn)制數(shù)轉(zhuǎn)換成ip地址,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-05-05python爬蟲(chóng)MeterSphere平臺(tái)執(zhí)行報(bào)告流程解析
這篇文章主要為大家介紹了python爬蟲(chóng)MeterSphere平臺(tái)執(zhí)行報(bào)告流程解析,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-12-12python使用wxPython打開(kāi)并播放wav文件的方法
這篇文章主要介紹了python使用wxPython打開(kāi)并播放wav文件的方法,涉及Python操作音頻文件的相關(guān)技巧,需要的朋友可以參考下2015-04-04python中pandas nlargest()的詳細(xì)用法小結(jié)
df.nlargest()是一個(gè)DataFrame的方法,用于返回DataFrame中最大的n個(gè)值所在的行,通過(guò)調(diào)用nlargest()方法,我們返回了分?jǐn)?shù)最高的三個(gè)行,并按照降序排列,本文結(jié)合實(shí)例代碼給大家介紹的非常詳細(xì),需要的朋友參考下吧2023-10-10flask + pymysql操作Mysql數(shù)據(jù)庫(kù)的實(shí)例
下面小編就為大家?guī)?lái)一篇flask + pymysql操作Mysql數(shù)據(jù)庫(kù)的實(shí)例。小編覺(jué)得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2017-11-11