欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

如何用Python Beautiful?Soup解析HTML內(nèi)容

 更新時間：2023年05月15日 11:03:28   作者：naer_chongya  
Beautiful Soup是一種Python的解析庫，主要用于解析和處理HTML/XML內(nèi)容，詳細介紹Beautiful Soup的使用方式和應(yīng)用場景,本文給大家介紹的非常詳細，需要的朋友可以參考下

Beautiful Soup是一種Python的解析庫，主要用于解析和處理HTML/XML內(nèi)容。它是基于Python的標準庫和第三方庫的結(jié)合，能夠提供簡便的方式實現(xiàn)文本的查找、修改和提取操作。

HTML指的是超文本標記語言（Hypertext Markup Language），即一種用于描述網(wǎng)頁內(nèi)容的標記語言。在我們訪問一個網(wǎng)頁的時候，瀏覽器便會將HTML內(nèi)容下載到本地并以可視化的形式展示給我們。但是，在程序員的世界里我們需要能夠?qū)TML內(nèi)容進行更多的操作，而Beautiful Soup就是這種工具之一。

Beautiful Soup能夠解析HTML內(nèi)容并轉(zhuǎn)化成一個復(fù)雜的樹結(jié)構(gòu)，然后可以通過標簽名、屬性名等多種方式進行內(nèi)容的查找和修改。使用Beautiful Soup不僅能夠讓我們更高效地處理HTML內(nèi)容，而且還能避免很多手動操作引起的誤差。

下面我們來詳細介紹Beautiful Soup的使用方式和應(yīng)用場景。

Beautiful Soup的使用

Beautiful Soup提供的解析器有bs3、bs4，其中bs3逐漸被棄用，目前bs4為最新版。我們主要介紹bs4的使用。

首先，我們需要安裝Beautiful Soup庫。在終端輸入以下命令：

pip install beautifulsoup4

安裝成功后，我們通過import語句將Beautiful Soup庫引入程序中。

from bs4 import BeautifulSoup

接下來假設(shè)我們有一個HTML文本：

<html>
  <head>
    <title>Beautiful Soup Tutorial</title>
  </head>
  <body>
    <div class="article">
      <h1>Python BeautifulSoup Tutorial</h1>
      <p class="intro">這是一篇Beautiful Soup入門教程</p>
      <p class="content">它將介紹Beautiful Soup的基本用法以及一些高級的應(yīng)用場景</p>
      <a class="link" >點擊訪問示例網(wǎng)站</a>
    </div>
  </body>
</html>

我們可以通過以下語句將HTML文本解析成BeautifulSoup對象：

soup = BeautifulSoup(html_doc, 'html.parser')

其中，html_doc為上述HTML文本，'html.parser’為指定的解析器。

標簽選擇器

Beautiful Soup提供了多種標簽選擇器，能夠便捷地從HTML文本中選擇需要的內(nèi)容。

選擇標簽名為h1的元素：

soup.select('h1')

結(jié)果為：

[<h1>Python BeautifulSoup Tutorial</h1>]

選擇標簽名為p且class屬性為“intro”的元素：

soup.select('p.intro')

結(jié)果為：

[<p class="intro">這是一篇Beautiful Soup入門教程</p>]

選擇標簽名為a且class屬性為“link”的元素，其href屬性的值為"http://www.example.com"：

soup.select('a.link[)

結(jié)果為：

[<a class="link" href="http://www.example.com">點擊訪問示例網(wǎng)站</a>]

標簽樹操作

我們可以通過Beautiful Soup的樹型結(jié)構(gòu)，對HTML文本進行各種查找與修改操作。

嵌套選擇標簽

可以通過嵌套選擇標簽，定位到HTML文本中需要的標簽，例如選擇“div”標簽下的所有“p”標簽。

content = soup.select('div.article > p')

可以看到，選擇結(jié)果為兩個“p”標簽。

[<p class="intro">這是一篇Beautiful Soup入門教程</p>, 
 <p class="content">它將介紹Beautiful Soup的基本用法以及一些高級的應(yīng)用場景</p>]

.string/.text屬性獲取標簽內(nèi)容

可以通過.string屬性或.text屬性獲取標簽內(nèi)的文本內(nèi)容。

例如，獲取標題“h1”標簽內(nèi)的文本內(nèi)容：

title = soup.select('h1')[0].string
print(title)

輸出結(jié)果為：

Python BeautifulSoup Tutorial

可以看到，.string相比于.text屬性更加精確，可以避免獲取到標簽內(nèi)的其他內(nèi)容干擾。

.get()方法獲取標簽屬性值

可以通過.get()方法獲取標簽內(nèi)的屬性值。例如，獲取“a”標簽的href屬性值：

link = soup.select('a.link')[0].get('href')
print(link)

輸出結(jié)果為：

http://www.example.com

修改HTML文本

除了查找與獲取HTML文本的內(nèi)容，我們還可以使用Beautiful Soup對HTML文本進行修改操作。

修改標簽屬性值

通過tag對象的.attrs屬性可以獲取標簽的屬性，使用該屬性進行修改操作。

例如，將“a”標簽的href屬性值修改為“http://www.newexample.com”：

link_tag = soup.select('a.link')[0]
link_tag['href'] = 'http://www.newexample.com'
print(link_tag)

可以看到，輸出結(jié)果中href屬性值已經(jīng)被修改。

<a class = "link" >點擊訪問示例網(wǎng)站</a>

修改標簽文本內(nèi)容

通過tag對象的.string屬性或replace_with()方法可以修改標簽的文本內(nèi)容。

例如，將第一個“p”標簽的文本修改為“歡迎來到Beautiful Soup教程”：

p_tag = soup.select('p.intro')[0]
p_tag.string = '歡迎來到Beautiful Soup教程'
print(p_tag)

輸出結(jié)果為：

<p class = "intro">歡迎來到Beautiful Soup教程</p>

增加標簽和刪除標簽

我們可以使用Beautiful Soup提供的函數(shù)，例如new_tag()、new_string()、append()和insert()等方法，創(chuàng)建新標簽或文本，并插入HTML文本當中。

例如，我們通過append()方法在“body”標簽的末尾增加一個“div”標簽：

new_div = soup.new_tag('div')
new_div.string = '這是Beautiful Soup教程的結(jié)尾'
soup.select('body')[0].append(new_div)
print(soup)

可以看到，輸出結(jié)果中的HTML文本結(jié)尾增加了一個新的“div”標簽。

應(yīng)用場景

美食網(wǎng)站信息爬取

我們將以美食網(wǎng)站中的“熱門排行榜”為例進行演示。

首先，我們需要通過requests庫獲取HTML文本。以“熱門排行榜”頁面為例：

import requests
from bs4 import BeautifulSoup
url = 'https://www.meishij.net/chufang/diy/diy_rmphb/'
html = requests.get(url)
soup = BeautifulSoup(html.text, 'html.parser')

我們可以通過觀察HTML文本，發(fā)現(xiàn)熱門排行榜的信息在“div”標簽中，具體位置在“div.zg_wrap”標簽中，而餐品名稱在“div.zg_wrap > li > div > p > a”標簽中。因此，我們可以使用以下語句提取美食名稱：

for i, li in enumerate(soup.select('div.zg_wrap > li')):
    name = li.select('div > p > a')[0].get('title')
    print(f'{i+1}. {name}')

可以看到，我們已成功提取出了美食名稱，輸出結(jié)果如下：

1. 漢堡
2. 糯米飯
3. 明爐烤鴨
4. 龍蝦
5. 火鍋
6. 美式薯條
7. 叉燒肉
8. 紅燒肉
9. 快手美食
10. 韓國泡菜

至此，我們已經(jīng)成功通過Beautiful Soup解析庫，提取出了美食網(wǎng)站的熱門排行榜信息，演示了Beautiful Soup在爬蟲數(shù)據(jù)抓取和處理中的重要應(yīng)用。

總結(jié)

Beautiful Soup作為一種解析庫，能夠方便地解析HTML/XML文本，提供多種標簽選擇器并支持樹型結(jié)構(gòu)操作，可以快速定位和處理HTML/XML中需要的內(nèi)容，提高了爬蟲數(shù)據(jù)抓取和處理的效率。對于Python爬蟲初學者來說，掌握Beautiful Soup的使用是十分重要的。同時需要注意的是，在使用Beautiful Soup時需要遵循網(wǎng)絡(luò)道德規(guī)范，遵守網(wǎng)站的規(guī)定，避免對網(wǎng)站造成過度訪問和其他影響。

到此這篇關(guān)于如何用Beautiful Soup解析HTML內(nèi)容的文章就介紹到這了,更多相關(guān)Beautiful Soup解析HTML內(nèi)容內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

相關(guān)文章

最新評論