零基礎(chǔ)寫python爬蟲之爬蟲框架Scrapy安裝配置
前面十章爬蟲筆記陸陸續(xù)續(xù)記錄了一些簡單的Python爬蟲知識,
用來解決簡單的貼吧下載,績點運算自然不在話下。
不過要想批量下載大量的內(nèi)容,比如知乎的所有的問答,那便顯得游刃不有余了點。
于是乎,爬蟲框架Scrapy就這樣出場了!
Scrapy = Scrach+Python,Scrach這個單詞是抓取的意思,
Scrapy的官網(wǎng)地址:點我點我。
那么下面來簡單的演示一下Scrapy的安裝流程。
具體流程參照:http://www.dbjr.com.cn/article/48607.htm
友情提醒:一定要按照Python的版本下載,要不然安裝的時候會提醒找不到Python。建議大家安裝32位是因為有些版本的必備軟件64位不好找。
1.安裝Python(建議32位)
建議安裝Python2.7.x,3.x貌似還不支持。
安裝完了記得配置環(huán)境,將python目錄和python目錄下的Scripts目錄添加到系統(tǒng)環(huán)境變量的Path里。
在cmd中輸入python如果出現(xiàn)版本信息說明配置完畢。
2.安裝lxml
lxml是一種使用 Python 編寫的庫,可以迅速、靈活地處理 XML。點擊這里選擇對應(yīng)的Python版本安裝。
3.安裝setuptools
用來安裝egg文件,點擊這里下載python2.7的對應(yīng)版本的setuptools。
4.安裝zope.interface
可以使用第三步下載的setuptools來安裝egg文件,現(xiàn)在也有exe版本,點擊這里下載。
5.安裝Twisted
Twisted是用Python實現(xiàn)的基于事件驅(qū)動的網(wǎng)絡(luò)引擎框架,點擊這里下載。
6.安裝pyOpenSSL
pyOpenSSL是Python的OpenSSL接口,點擊這里下載。
7.安裝win32py
提供win32api,點擊這里下載
8.安裝Scrapy
終于到了激動人心的時候了!安裝了那么多小部件之后終于輪到主角登場。
直接在cmd中輸入easy_install scrapy回車即可。
9.檢查安裝
打開一個cmd窗口,在任意位置執(zhí)行scrapy命令,得到下列頁面,表示環(huán)境配置成功。
相關(guān)文章
pdf論文中python畫的圖Type 3 fonts字體不兼容的解決方案
這篇文章主要介紹了pdf論文中python畫的圖Type 3 fonts字體不兼容的解決方案,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2021-04-04Python?Bleach保障網(wǎng)絡(luò)安全防止網(wǎng)站受到XSS(跨站腳本)攻擊
Bleach?不僅可以清理?HTML?文檔,還能夠?qū)︽溄舆M行處理,檢查是否是合法格式,并可以使用白名單來控制哪些?HTML?標簽、屬性是安全的,因此非常適合用于清潔用戶輸入的數(shù)據(jù),確保網(wǎng)站安全2024-01-01python嵌套函數(shù)使用外部函數(shù)變量的方法(Python2和Python3)
這篇文章主要介紹了python嵌套函數(shù)使用外部函數(shù)變量的方法,需要的朋友可以參考下2016-01-01Django提示mysql版本過低:django.db.utils.NotSupportedError: My
這篇文章主要介紹了Django提示mysql版本過低:django.db.utils.NotSupportedError: MySQL 8 or later is required (found 5.7.26).的解決方法,文中有詳細的解決方案,具有一定的參考價值,需要的朋友可以參考下2024-03-03python操作微信自動發(fā)消息的實現(xiàn)(微信聊天機器人)
這篇文章主要介紹了python操作微信自動發(fā)消息(微信聊天機器人),文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2020-07-07