欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

面向新手解析python Beautiful Soup基本用法

 更新時間:2020年07月11日 08:37:28   作者:夏日的向日葵  
這篇文章主要介紹了面向新手解析python Beautiful Soup基本用法,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下

Beautiful Soup就是Python的一個HTML或XML的解析庫,可以用它來方便地從網(wǎng)頁中提取數(shù)據(jù)。它有如下三個特點(diǎn):

  • Beautiful Soup提供一些簡單的、Python式的函數(shù)來處理導(dǎo)航、搜索、修改分析樹等功能。它是一個工具箱,通過解析文檔為用戶提供需要抓取的數(shù)據(jù),因為簡單,所以不需要多少代碼就可以寫出一個完整的應(yīng)用程序。
  • Beautiful Soup自動將輸入文檔轉(zhuǎn)換為Unicode編碼,輸出文檔轉(zhuǎn)換為UTF-8編碼。你不需要考慮編碼方式,除非文檔沒有指定一個編碼方式,這時你僅僅需要說明一下原始編碼方式就可以了。
  • Beautiful Soup已成為和lxml、html6lib一樣出色的Python解釋器,為用戶靈活地提供不同的解析策略或強(qiáng)勁的速度。

首先,我們要安裝它:pip install bs4,然后安裝 pip install beautifulsoup4.

Beautiful Soup支持的解析器

下面我們以lxml解析器為例:

from bs4 import BeautifulSoup
soup = BeautifulSoup('<p>Hello</p>', 'lxml')
print(soup.p.string)

結(jié)果:

Hello

beautiful soup美化的效果實例:

html = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a  rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link1"><!-- Elsie --></a>,
<a  rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link2">Lacie</a> and
<a  rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')#調(diào)用prettify()方法。這個方法可以把要解析的字符串以標(biāo)準(zhǔn)的縮進(jìn)格式輸出
print(soup.prettify())
print(soup.title.string)

結(jié)果:

<html>
 <head>
 <title>
  The Dormouse's story
 </title>
 </head>
 <body>
 <p class="title" name="dromouse">
  <b>
  The Dormouse's story
  </b>
 </p>
 <p class="story">
  Once upon a time there were three little sisters; and their names were
  <a class="sister"  rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link1">
  <!-- Elsie -->
  </a>
  ,
  <a class="sister"  rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link2">
  Lacie
  </a>
  and
  <a class="sister"  rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link3">
  Tillie
  </a>
  ;
and they lived at the bottom of a well.
 </p>
 <p class="story">
  ...
 </p>
 </body>
</html>
The Dormouse's story

下面舉例說明選擇元素、屬性、名稱的方法

html = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a  rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link1"><!-- Elsie --></a>,
<a  rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link2">Lacie</a> and
<a  rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print('輸出結(jié)果為title節(jié)點(diǎn)加里面的文字內(nèi)容:\n',soup.title)
print('輸出它的類型:\n',type(soup.title))
print('輸出節(jié)點(diǎn)的文本內(nèi)容:\n',soup.title.string)
print('結(jié)果是節(jié)點(diǎn)加其內(nèi)部的所有內(nèi)容:\n',soup.head)
print('結(jié)果是第一個p節(jié)點(diǎn)的內(nèi)容:\n',soup.p)
print('利用name屬性獲取節(jié)點(diǎn)的名稱:\n',soup.title.name)
#這里需要注意的是,有的返回結(jié)果是字符串,有的返回結(jié)果是字符串組成的列表。
# 比如,name屬性的值是唯一的,返回的結(jié)果就是單個字符串。
# 而對于class,一個節(jié)點(diǎn)元素可能有多個class,所以返回的是列表。
print('每個節(jié)點(diǎn)可能有多個屬性,比如id和class等:\n',soup.p.attrs)
print('選擇這個節(jié)點(diǎn)元素后,可以調(diào)用attrs獲取所有屬性:\n',soup.p.attrs['name'])
print('獲取p標(biāo)簽的name屬性值:\n',soup.p['name'])
print('獲取p標(biāo)簽的class屬性值:\n',soup.p['class'])
print('獲取第一個p節(jié)點(diǎn)的文本:\n',soup.p.string)

結(jié)果:

輸出結(jié)果為title節(jié)點(diǎn)加里面的文字內(nèi)容:
<title>The Dormouse's story</title>
輸出它的類型:
<class 'bs4.element.Tag'>
輸出節(jié)點(diǎn)的文本內(nèi)容:
The Dormouse's story
結(jié)果是節(jié)點(diǎn)加其內(nèi)部的所有內(nèi)容:
<head><title>The Dormouse's story</title></head>
結(jié)果是第一個p節(jié)點(diǎn)的內(nèi)容:
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
利用name屬性獲取節(jié)點(diǎn)的名稱:
title
每個節(jié)點(diǎn)可能有多個屬性,比如id和class等:
{'class': ['title'], 'name': 'dromouse'}
選擇這個節(jié)點(diǎn)元素后,可以調(diào)用attrs獲取所有屬性:
dromouse
獲取p標(biāo)簽的name屬性值:
dromouse
獲取p標(biāo)簽的class屬性值:
['title']
獲取第一個p節(jié)點(diǎn)的文本:
The Dormouse's story

在上面的例子中,我們知道每一個返回結(jié)果都是bs4.element.Tag類型,它同樣可以繼續(xù)調(diào)用節(jié)點(diǎn)進(jìn)行下一步的選擇。

html = """
<html><head><title>The Dormouse's story</title></head>
<body>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print('獲取了head節(jié)點(diǎn)元素,繼續(xù)調(diào)用head來選取其內(nèi)部的head節(jié)點(diǎn)元素:\n',soup.head.title)
print('繼續(xù)調(diào)用輸出類型:\n',type(soup.head.title))
print('繼續(xù)調(diào)用輸出內(nèi)容:\n',soup.head.title.string)

結(jié)果:

獲取了head節(jié)點(diǎn)元素,繼續(xù)調(diào)用head來選取其內(nèi)部的head節(jié)點(diǎn)元素:
 <title>The Dormouse's story</title>
繼續(xù)調(diào)用輸出類型:
 <class 'bs4.element.Tag'>
繼續(xù)調(diào)用輸出內(nèi)容:
 The Dormouse's story

(1)find_all()

find_all,顧名思義,就是查詢所有符合條件的元素。給它傳入一些屬性或文本,就可以得到符合條件的元素,它的功能十分強(qiáng)大。

find_all(name , attrs , recursive , text , **kwargs)

他的用法:

html='''
<div class="panel">
  <div class="panel-heading">
    <h4>Hello</h4>
  </div>
  <div class="panel-body">
    <ul class="list" id="list-1">
      <li class="element">Foo</li>
      <li class="element">Bar</li>
      <li class="element">Jay</li>
    </ul>
    <ul class="list list-small" id="list-2">
      <li class="element">Foo</li>
      <li class="element">Bar</li>
    </ul>
  </div>
</div>
'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print('查詢所有ul節(jié)點(diǎn),返回結(jié)果是列表類型,長度為2:\n',soup.find_all(name='ul'))
print('每個元素依然都是bs4.element.Tag類型:\n',type(soup.find_all(name='ul')[0]))
#將以上步驟換一種方式,遍歷出來
for ul in soup.find_all(name='ul'):
  print('輸出每個u1:',ul.find_all(name='li'))
#遍歷兩層
for ul in soup.find_all(name='ul'):
  print('輸出每個u1:',ul.find_all(name='li'))
  for li in ul.find_all(name='li'):
    print('輸出每個元素:',li.string)

結(jié)果:

查詢所有ul節(jié)點(diǎn),返回結(jié)果是列表類型,長度為2:
 [<ul class="list" id="list-1">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>, <ul class="list list-small" id="list-2">
<li class="element">Foo</li>
<li class="element">Bar</li>
</ul>]
每個元素依然都是bs4.element.Tag類型:
 <class 'bs4.element.Tag'>
輸出每個u1: [<li class="element">Foo</li>, <li class="element">Bar</li>, <li class="element">Jay</li>]
輸出每個u1: [<li class="element">Foo</li>, <li class="element">Bar</li>]
輸出每個u1: [<li class="element">Foo</li>, <li class="element">Bar</li>, <li class="element">Jay</li>]
輸出每個元素: Foo
輸出每個元素: Bar
輸出每個元素: Jay
輸出每個u1: [<li class="element">Foo</li>, <li class="element">Bar</li>]
輸出每個元素: Foo
輸出每個元素: Bar

以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。

相關(guān)文章

  • python 解決mysql where in 對列表(list,,array)問題

    python 解決mysql where in 對列表(list,,array)問題

    這篇文章主要介紹了python 解決mysql where in 對列表(list,,array)問題,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-06-06
  • Python中的上下文管理器相關(guān)知識詳解

    Python中的上下文管理器相關(guān)知識詳解

    這篇文章主要介紹了Python中的上下文管理器相關(guān)知識詳解,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
    2019-09-09
  • Python爬蟲:將headers請求頭字符串轉(zhuǎn)為字典的方法

    Python爬蟲:將headers請求頭字符串轉(zhuǎn)為字典的方法

    今天小編就為大家分享一篇Python爬蟲:將headers請求頭字符串轉(zhuǎn)為字典的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2019-08-08
  • 詳解python中的閉包

    詳解python中的閉包

    這篇文章主要介紹了python中閉包的相關(guān)資料,幫助大家更好的理解和學(xué)習(xí)python,感興趣的朋友可以了解下
    2020-09-09
  • 深入理解Python3中的http.client模塊

    深入理解Python3中的http.client模塊

    這篇文章主要介紹了關(guān)于Python3中http.client模塊的相關(guān)資料,文中介紹的非常詳細(xì),需要的朋友可以參考借鑒,下面來一起看看吧。
    2017-03-03
  • 基于Python輕松實現(xiàn)PDF轉(zhuǎn)圖片

    基于Python輕松實現(xiàn)PDF轉(zhuǎn)圖片

    PDF文件是我們在日常工作和學(xué)習(xí)中常用的文檔格式之一,但你知道嗎,你可以將PDF文件轉(zhuǎn)換為圖像,讓文檔變得更加生動有趣,下面我們就來看看具體的實現(xiàn)方法吧
    2023-08-08
  • pandas.DataFrame選取/排除特定行的方法

    pandas.DataFrame選取/排除特定行的方法

    今天小編就為大家分享一篇pandas.DataFrame選取/排除特定行的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2018-07-07
  • Python調(diào)用釘釘自定義機(jī)器人的實現(xiàn)

    Python調(diào)用釘釘自定義機(jī)器人的實現(xiàn)

    這篇文章主要介紹了Python調(diào)用釘釘自定義機(jī)器人的實現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2020-01-01
  • 快速查詢Python文檔方法分享

    快速查詢Python文檔方法分享

    這篇文章主要介紹了快速查詢Python文檔方法分享,具有一定借鑒價值,需要的朋友可以參考下
    2017-12-12
  • Python中Parser的超詳細(xì)用法實例

    Python中Parser的超詳細(xì)用法實例

    Parser模塊為Python的內(nèi)部解析器和字節(jié)碼編譯器提供了一個接口,該接口的主要目的是允許Python代碼編輯Python表達(dá)式的分析樹并從中創(chuàng)建可執(zhí)行代碼,這篇文章主要給大家介紹了關(guān)于Python中Parser超詳細(xì)用法的相關(guān)資料,需要的朋友可以參考下
    2022-07-07

最新評論