欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python網(wǎng)絡(luò)爬蟲四大選擇器用法原理總結(jié)

 更新時間:2020年06月01日 15:50:38   作者:dcpeng  
這篇文章主要介紹了Python網(wǎng)絡(luò)爬蟲四大選擇器用法原理總結(jié),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下

前幾天小編連續(xù)寫了四篇關(guān)于Python選擇器的文章,分別用正則表達(dá)式BeautifulSoup、XpathCSS選擇器分別抓取京東網(wǎng)的商品信息。今天小編來給大家總結(jié)一下這四個選擇器,讓大家更加深刻的理解和熟悉Python選擇器。

一、正則表達(dá)式

正則表達(dá)式為我們提供了抓取數(shù)據(jù)的快捷方式。雖然該正則表達(dá)式更容易適應(yīng)未來變化,但又存在難以構(gòu)造、可讀性差的問題。當(dāng)在爬京東網(wǎng)的時候,正則表達(dá)式如下圖所示:

利用正則表達(dá)式實現(xiàn)對目標(biāo)信息的精準(zhǔn)采集

此外 ,我們都知道,網(wǎng)頁時常會產(chǎn)生變更,導(dǎo)致網(wǎng)頁中會發(fā)生一些微小的布局變化時,此時也會使得之前寫好的正則表達(dá)式無法滿足需求,而且還不太好調(diào)試。當(dāng)需要匹配的內(nèi)容有很多的時候,使用正則表達(dá)式提取目標(biāo)信息會導(dǎo)致程序運行的速度減慢,需要消耗更多內(nèi)存。

二、BeautifulSoup

BeautifulSoup是一個非常流行的 Pyhon 模塊。該模塊可以解析網(wǎng)頁,并提供定位內(nèi)容的便捷接口。通過'pip install beautifulsoup4'就可以實現(xiàn)該模塊的安裝了。

利用美麗的湯去提取目標(biāo)信息

使用 BeautifulSoup的第一步是將己下載的 HTML 內(nèi)容解析為 soup文檔。由 于大多 數(shù)網(wǎng) 頁都不具備良好的HTML 格式,因此BeautifulSoup需要對實際格式進(jìn)行確定。BeautifulSoup能夠正確解析缺失的引號并閉合標(biāo)簽,此外還會添加<html >和<body>標(biāo)簽使其成為完整的HTML文檔。通常使用find() 和find_all()方法來定位我們需要的元素。如果你想了解BeautifulSoup全部方法和參數(shù),可以查閱BeautifulSoup的官方文檔。雖然BeautifulSoup在代碼的理解上比正則表達(dá)式要復(fù)雜一些,但是其更加容易構(gòu)造和理解。

三、Lxml

Lxml模塊使用 C語言編寫,其解析速度比 BeautiflSoup更快,而且其安裝過程也更為復(fù)雜,在此小編就不贅述啦。XPath 使用路徑表達(dá)式在 XML 文檔中選取節(jié)點。節(jié)點是通過沿著路徑或者 step 來選取的。

Xpath

使用 lxml 模塊的第一步和BeautifulSoup一樣,也是將有可能不合法的HTML 解析為 統(tǒng)一格式。 雖然Lxml可以正確解析屬性兩側(cè)缺失的引號,并閉合標(biāo)簽,不過該模塊沒有額外添加<html >和<body>標(biāo)簽 。

在線復(fù)制Xpath表達(dá)式可以很方便的復(fù)制Xpath表達(dá)式。但是通過該方法得到的Xpath表達(dá)式放在程序中一般不能用,而且長的沒法看。所以Xpath表達(dá)式一般還是要自己親自上手。

四、CSS

CSS選擇器表示選擇元素所使用 的模式。BeautifulSoup整合了CSS選擇器的語法和自身方便使用API。在網(wǎng)絡(luò)爬蟲的開發(fā)過程中,對于熟悉CSS選擇器語法的人,使用CSS選擇器是個非常方便的方法。

CSS選擇器

下面是一些常用的選擇器示例。

  • 選擇所有標(biāo)簽: *
  • 選擇<a>標(biāo) 簽: a
  • 選擇所有class=”link” 的元素: .l in k
  • 選擇 class=”link” 的<a>標(biāo)簽: a.link
  • 選擇 id= " home ” 的<a>標(biāo)簽: a Jhome
  • 選擇父元素為<a>標(biāo)簽的所有< span>子標(biāo)簽: a > span
  • 選擇<a>標(biāo)簽內(nèi)部的所有<span>標(biāo)簽: a span
  • 選擇title屬性為” Home ” 的所有<a>標(biāo)簽: a [title=Home]

五、性能對比

lxml 和正則表達(dá)式模塊都是C語言編寫的,而BeautifulSoup則是純Python 編寫的。下表總結(jié)了每種抓取方法的優(yōu)缺點。

相對困難需要注意的是。lxml在內(nèi)部實現(xiàn)中,實際上是將CSS選擇器轉(zhuǎn)換為等價的Xpath選擇器。

六、總結(jié)

如果你的爬蟲瓶頸是下載網(wǎng)頁,而不是抽取數(shù)據(jù)的話,那么使用較慢的方法(如BeautifulSoup) 也不成問題。如果只需抓取少量數(shù)據(jù),并且想要避免額外依賴的話,那么正則表達(dá)式可能更加適合。不過,通常情況下,l xml是抓取數(shù)據(jù)的最好選擇,這是因為該方法既快速又健壯,而正則表達(dá)式和BeautifulSoup只在某些特定場景下有用。

以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。

相關(guān)文章

  • 基于Python爬取股票數(shù)據(jù)過程詳解

    基于Python爬取股票數(shù)據(jù)過程詳解

    這篇文章主要介紹了基于Python爬取股票數(shù)據(jù)過程詳解,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
    2020-10-10
  • Python三種遍歷文件目錄的方法實例代碼

    Python三種遍歷文件目錄的方法實例代碼

    這篇文章主要介紹了Python三種遍歷文件目錄的方法實例代碼,具有一定借鑒價值,需要的朋友可以參考下
    2018-01-01
  • Python趣味挑戰(zhàn)之教你用pygame畫進(jìn)度條

    Python趣味挑戰(zhàn)之教你用pygame畫進(jìn)度條

    pygame四種方法教會你畫進(jìn)度條,其實也不難,文中有非常詳細(xì)的代碼示例,對正在學(xué)習(xí)python的小伙伴們很有幫助,需要的朋友可以參考下
    2021-05-05
  • Python編程編寫完善的命令行工具

    Python編程編寫完善的命令行工具

    提到編寫命令行工具,你可能會想到用 sys.argv 或者標(biāo)準(zhǔn)庫 argparse,沒錯,這兩個很常用,不過情況復(fù)雜時沒有那么方便和高效,因此今天分享兩個工具,讓你編寫命令行工具不費吹灰之力
    2021-09-09
  • python中出現(xiàn)invalid?syntax報錯的幾種原因分析

    python中出現(xiàn)invalid?syntax報錯的幾種原因分析

    這篇文章主要介紹了python中出現(xiàn)invalid?syntax報錯的幾種原因分析,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教
    2022-02-02
  • Python正確重載運算符的方法示例詳解

    Python正確重載運算符的方法示例詳解

    這篇文章主要給大家介紹了關(guān)于Python如何正確重載運算符的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們參考借鑒,下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧。
    2017-08-08
  • Python獲取一個用戶名的組ID過程解析

    Python獲取一個用戶名的組ID過程解析

    這篇文章主要介紹了Python獲取一個用戶名的組ID過程解析,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
    2019-09-09
  • Python實現(xiàn)Linux下守護(hù)進(jìn)程的編寫方法

    Python實現(xiàn)Linux下守護(hù)進(jìn)程的編寫方法

    這篇文章主要介紹了Python實現(xiàn)Linux下守護(hù)進(jìn)程的編寫方法,比較實用的一個技巧,需要的朋友可以參考下
    2014-08-08
  • tensorflow -gpu安裝方法(不用自己裝cuda,cdnn)

    tensorflow -gpu安裝方法(不用自己裝cuda,cdnn)

    這篇文章主要介紹了tensorflow -gpu安裝,史上最新最簡單的途徑(不用自己裝cuda,cdnn),非常不錯,具有一定的參考借鑒價值,需要的朋友可以參考下
    2020-01-01
  • Python實現(xiàn)的用戶登錄系統(tǒng)功能示例

    Python實現(xiàn)的用戶登錄系統(tǒng)功能示例

    這篇文章主要介紹了Python實現(xiàn)的用戶登錄系統(tǒng)功能,涉及Python流程控制及字符串判斷等相關(guān)操作技巧,需要的朋友可以參考下
    2018-02-02

最新評論