欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python爬蟲(chóng)框架Scrapy安裝使用步驟

 更新時(shí)間：2014年04月01日 14:49:28   作者：  
這篇文章主要介紹了Python爬蟲(chóng)框架Scrapy的安裝和使用步驟,重點(diǎn)在解決依賴問(wèn)題上,需要的朋友可以參考下

一、爬蟲(chóng)框架Scarpy簡(jiǎn)介
Scrapy 是一個(gè)快速的高層次的屏幕抓取和網(wǎng)頁(yè)爬蟲(chóng)框架，爬取網(wǎng)站，從網(wǎng)站頁(yè)面得到結(jié)構(gòu)化的數(shù)據(jù)，它有著廣泛的用途，從數(shù)據(jù)挖掘到監(jiān)測(cè)和自動(dòng)測(cè)試，Scrapy完全用Python實(shí)現(xiàn)，完全開(kāi)源，代碼托管在Github上，可運(yùn)行在Linux，Windows，Mac和BSD平臺(tái)上，基于Twisted的異步網(wǎng)絡(luò)庫(kù)來(lái)處理網(wǎng)絡(luò)通訊，用戶只需要定制開(kāi)發(fā)幾個(gè)模塊就可以輕松的實(shí)現(xiàn)一個(gè)爬蟲(chóng)，用來(lái)抓取網(wǎng)頁(yè)內(nèi)容以及各種圖片。

二、Scrapy安裝指南

我們的安裝步驟假設(shè)你已經(jīng)安裝一下內(nèi)容：<1>Python2.7<2>lxml<3>OpenSSL，我們使用Python的包管理工具pip或者easy_install來(lái)安裝Scrapy。
pip的安裝方式：

復(fù)制代碼 代碼如下:
pip install Scrapy

easy_install的安裝方式：
復(fù)制代碼 代碼如下:
easy_install Scrapy

三、Ubuntu平臺(tái)上環(huán)境配置

1、python的包管理工具
當(dāng)前的包管理工具鏈?zhǔn)?easy_install/pip + distribute/setuptools
distutils : Python 自帶的基本安裝工具, 適用于非常簡(jiǎn)單的應(yīng)用場(chǎng)景;
setuptools : 針對(duì) distutils 做了大量擴(kuò)展, 尤其是加入了包依賴機(jī)制. 在部分 Python 子社區(qū)已然是事實(shí)上的標(biāo)準(zhǔn);
distribute : 由于 setuptools 開(kāi)發(fā)進(jìn)度緩慢, 不支持 Python 3, 代碼混亂, 一幫程序員另起爐灶, 重構(gòu)代碼, 增加功能, 希望能夠取代 setuptools 并被接納為官方標(biāo)準(zhǔn)庫(kù), 他們非常努力, 在很短的時(shí)間便讓社區(qū)接受了 distribute;，setuptools / distribute 都只是擴(kuò)展了 distutils;
easy_install : setuptools 和 distribute 自帶的安裝腳本, 也就是一旦 setuptools 或 distribute 安裝完畢, easy_install 也便可用. 最大的特點(diǎn)是自動(dòng)查找 Python 官方維護(hù)的包源 PyPI , 安裝第三方 Python 包非常方便; 使用:
pip : pip 的目標(biāo)非常明確 – 取代 easy_install. easy_install 有很多不足: 安裝事務(wù)是非原子操作, 只支持 svn, 沒(méi)有提供卸載命令, 安裝一系列包時(shí)需要寫(xiě)腳本; pip 解決了以上問(wèn)題, 已儼然成為新的事實(shí)標(biāo)準(zhǔn), virtualenv 與它已經(jīng)成為一對(duì)好搭檔;

安裝過(guò)程：
安裝distribute  

復(fù)制代碼 代碼如下:
$ curl -O http://python-distribute.org/distribute_setup.py 
$ python distribute_setup.py

安裝pip：
復(fù)制代碼 代碼如下:
$ curl -O https://raw.github.com/pypa/pip/master/contrib/get-pip.py 
$ [sudo] python get-pip.py

2、Scrapy的安裝
在Windows平臺(tái)上，可以通過(guò)包管理工具或者手動(dòng)下載各種依賴的二進(jìn)制包：pywin32，Twisted，zope.interface，lxml，pyOpenSSL，在Ubuntu9.10以后的版本上，官方推薦不用使用Ubuntu提供的python-scrapy包，它們要么太老要么太慢，無(wú)法匹配最新的Scrapy，解決方案是，使用官方的Ubuntu Packages，它提供了所有的依賴庫(kù)，并且對(duì)于最新的bug提供持續(xù)的更新，穩(wěn)定性更高，它們持續(xù)的從Github倉(cāng)庫(kù)（master和stable branches）構(gòu)建，Scrapy在Ubuntu9.10之后的版本上的安裝方法如下：
<1>輸入GPG密鑰

復(fù)制代碼 代碼如下:
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7

<2>創(chuàng)建/etc/apt/sources.list.d/scrapy.list 文件
復(fù)制代碼 代碼如下:
echo 'deb http://archive.scrapy.org/ubuntu scrapy main' | sudo tee /etc/apt/sources.list.d/scrapy.list

<3>更新包列表，安裝scrapy版本，其中VERSION用實(shí)際的版本代替，如scrapy-0.22
復(fù)制代碼 代碼如下:
sudo apt-get update && sudo apt-get install scrapy-VERSION

3、Scrapy依賴庫(kù)的安裝
ubuntu12.04下scrapy依賴庫(kù)的安裝
ImportError: No module named w3lib.http

復(fù)制代碼 代碼如下:
pip install w3lib

ImportError: No module named twisted
復(fù)制代碼 代碼如下:
pip install twisted

ImportError: No module named lxml.html
復(fù)制代碼 代碼如下:
pip install lxml

解決：error: libxml/xmlversion.h: No such file or directory

復(fù)制代碼 代碼如下:
apt-get install libxml2-dev libxslt-dev 
apt-get install python-lxml

解決：ImportError: No module named cssselect

復(fù)制代碼 代碼如下:
pip install cssselect 

ImportError: No module named OpenSSL
復(fù)制代碼 代碼如下:
pip install pyOpenSSL 

4、定制自己的爬蟲(chóng)開(kāi)發(fā)
切換到文件目錄，開(kāi)啟新的工程

復(fù)制代碼 代碼如下:
scrapy startproject test

 

相關(guān)文章

  • Python餅狀圖的繪制實(shí)例

    Python餅狀圖的繪制實(shí)例

    今天小編就為大家分享一篇關(guān)于Python餅狀圖的繪制實(shí)例，小編覺(jué)得內(nèi)容挺不錯(cuò)的，現(xiàn)在分享給大家，具有很好的參考價(jià)值，需要的朋友一起跟隨小編來(lái)看看吧
    2019-01-01
  • 對(duì)Python生成器、裝飾器、遞歸的使用詳解

    對(duì)Python生成器、裝飾器、遞歸的使用詳解

    今天小編就為大家分享一篇對(duì)Python生成器、裝飾器、遞歸的使用詳解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2019-07-07
  • Python爬蟲(chóng)爬取新聞資訊案例詳解

    Python爬蟲(chóng)爬取新聞資訊案例詳解

    這篇文章主要介紹了Python爬蟲(chóng)爬取新聞資訊案例詳解,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
    2020-07-07
  • selenium+headless chrome爬蟲(chóng)的實(shí)現(xiàn)示例

    selenium+headless chrome爬蟲(chóng)的實(shí)現(xiàn)示例

    這篇文章主要介紹了selenium+headless chrome爬蟲(chóng)的實(shí)現(xiàn)示例，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2021-01-01
  • Pycharm不同版本鏡像源添加方法

    Pycharm不同版本鏡像源添加方法

    本文主要介紹了Pycharm不同版本鏡像源添加方法，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2023-02-02
  • python的Tqdm模塊的使用

    python的Tqdm模塊的使用

    這篇文章主要介紹了python的Tqdm模塊的使用，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧
    2018-01-01
  • python 循環(huán)遍歷字典元素的簡(jiǎn)單方法

    python 循環(huán)遍歷字典元素的簡(jiǎn)單方法

    下面小編就為大家?guī)?lái)一篇python循環(huán)遍歷字典元素的簡(jiǎn)單方法。小編覺(jué)得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧
    2016-09-09
  • python通過(guò)opencv調(diào)用攝像頭操作實(shí)例分析

    python通過(guò)opencv調(diào)用攝像頭操作實(shí)例分析

    在本篇文章里小編給大家整理的是一篇關(guān)于python通過(guò)opencv調(diào)用攝像頭操作實(shí)例分析內(nèi)容，有興趣的朋友們可以學(xué)習(xí)下。
    2021-06-06
  • python中ctypes使用方法

    python中ctypes使用方法

    這篇文章主要介紹了python中ctypes使用方法,包括 python和c中類型映射,操作結(jié)構(gòu)體和聯(lián)合體,需要定義結(jié)構(gòu)體或聯(lián)合體的類型,然后可以創(chuàng)建實(shí)例、訪問(wèn)其成員等,感興趣的朋友跟隨小編一起看看吧
    2024-04-04
  • Windows中使用wxPython和py2exe開(kāi)發(fā)Python的GUI程序的實(shí)例教程

    Windows中使用wxPython和py2exe開(kāi)發(fā)Python的GUI程序的實(shí)例教程

    wxPython是一款集成了Python的圖形化類庫(kù)的工具,而py2exe是一款將Python程序轉(zhuǎn)換為exe可執(zhí)行文件的程序,二者搭配可以輕松地在Windows中創(chuàng)建圖形化程序,這里我們就來(lái)學(xué)習(xí)Windows中使用wxPython和py2exe開(kāi)發(fā)Python的GUI程序的實(shí)例教程:
    2016-07-07

最新評(píng)論