Python Beautiful Soup模塊使用教程詳解
更新時(shí)間：2023年02月24日 09:55:46 作者：Thunderclap_
Beautiful Soup 簡稱 BS4（其中 4 表示版本號）是一個(gè) Python 中常用的頁面解析庫，它可以從 HTML 或 XML 文檔中快速地提取指定的數(shù)據(jù)，這篇文章主要介紹了Python Beautiful Soup模塊的使用
一、模塊簡介
Beautiful Soup 是一個(gè)可以從HTML或XML文件中提取數(shù)據(jù)的Python庫.它能夠通過你喜歡的轉(zhuǎn)換器實(shí)現(xiàn)慣用的文檔導(dǎo)航,查找,修改文檔的方式.Beautiful Soup會幫你節(jié)省數(shù)小時(shí)甚至數(shù)天的工作時(shí)間.
二、方法利用
1、引入模塊
# 引入 html_doc = """ <html><head><title>The Dormouse's story</title></head> <body> <p class="title"><b>The Dormouse's story</b></p> <p class="story">Once upon a time there were three little sisters; and their names were <a rel="external nofollow" class="sister" id="link1">Elsie</a>, <a rel="external nofollow" class="sister" id="link2">Lacie</a> and <a rel="external nofollow" class="sister" id="link3">Tillie</a>; and they lived at the bottom of a well.</p> <p class="story">...</p> """ from bs4 import BeautifulSoup soup = BeautifulSoup(html_doc, 'html.parser')
四種解析器
2、幾個(gè)簡單的瀏覽結(jié)構(gòu)化數(shù)據(jù)的方法
#獲取Tag，通俗點(diǎn)就是HTML中的一個(gè)個(gè)標(biāo)簽
#獲取Tag，通俗點(diǎn)就是HTML中的一個(gè)個(gè)標(biāo)簽
soup.title # 獲取整個(gè)title標(biāo)簽字段：<title>The Dormouse's story</title>
soup.title.name # 獲取title標(biāo)簽名稱 ：title
soup.title.parent.name # 獲取 title 的父級標(biāo)簽名稱：head
soup.p # 獲取第一個(gè)p標(biāo)簽字段：<p class="title"><b>The Dormouse's story</b></p>
soup.p['class'] # 獲取第一個(gè)p中class屬性值：title
soup.p.get('class') # 等價(jià)于上面
soup.a # 獲取第一個(gè)a標(biāo)簽字段
soup.find_all('a') # 獲取所有a標(biāo)簽字段
soup.find(id="link3") # 獲取屬性id值為link3的字段
soup.a['class'] = "newClass" # 可以對這些屬性和內(nèi)容等等進(jìn)行修改
del bs.a['class'] # 還可以對這個(gè)屬性進(jìn)行刪除
soup.find('a').get('id') # 獲取class值為story的a標(biāo)簽中id屬性的值
soup.title.string # 獲取title標(biāo)簽的值 ：The Dormouse's story三、具體利用
1、獲取擁有指定屬性的標(biāo)簽
方法一：獲取單個(gè)屬性
soup.find_all('div',id="even") # 獲取所有id=even屬性的div標(biāo)簽
soup.find_all('div',attrs={'id':"even"}) # 效果同上
方法二:
soup.find_all('div',id="even",class_="square") # 獲取所有id=even并且class=square屬性的div標(biāo)簽
soup.find_all('div',attrs={"id":"even","class":"square"}) # 效果同上2、獲取標(biāo)簽的屬性值
方法一：通過下標(biāo)方式提取
for link in soup.find_all('a'):
print(link['href']) //等同于 print(link.get('href'))
方法二：利用attrs參數(shù)提取
for link in soup.find_all('a'):
print(link.attrs['href'])3、獲取標(biāo)簽中的內(nèi)容
divs = soup.find_all('div') # 獲取所有的div標(biāo)簽
for div in divs: # 循環(huán)遍歷div中的每一個(gè)div
a = div.find_all('a')[0] # 查找div標(biāo)簽中的第一個(gè)a標(biāo)簽
print(a.string) # 輸出a標(biāo)簽中的內(nèi)容
如果結(jié)果沒有正確顯示，可以轉(zhuǎn)換為list列表4、stripped_strings
去除\n換行符等其他內(nèi)容 stripped_strings
divs = soup.find_all('div')
for div in divs:
infos = list(div.stripped_strings) # 去掉空格換行等
bring(infos)四、輸出
1、格式化輸出prettify()
prettify() 方法將Beautiful Soup的文檔樹格式化后以Unicode編碼輸出,每個(gè)XML/HTML標(biāo)簽都獨(dú)占一行
markup = '<a rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" >I linked to <i>example.com</i></a>' soup = BeautifulSoup(markup) soup.prettify() # '<html>\n <head>\n </head>\n <body>\n <a rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" >\n...' print(soup.prettify()) # <html> # <head> # </head> # <body> # <a rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" > # I linked to # <i> # example.com # </i> # </a> # </body> # </html>
2、get_text()
如果只想得到tag中包含的文本內(nèi)容,那么可以調(diào)用 get_text() 方法,這個(gè)方法獲取到tag中包含的所有文版內(nèi)容包括子孫tag中的內(nèi)容,并將結(jié)果作為Unicode字符串返回:
markup = '<a rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" >\nI linked to <i>example.com</i>\n</a>' soup = BeautifulSoup(markup) soup.get_text() u'\nI linked to example.com\n' soup.i.get_text() u'example.com'
到此這篇關(guān)于Python Beautiful Soup模塊使用教程詳解的文章就介紹到這了,更多相關(guān)Python Beautiful Soup內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
您可能感興趣的文章:
相關(guān)文章
這篇文章主要介紹了Python創(chuàng)建空列表的字典2種方法詳解,需要的朋友可以參考下2020-02-02
這篇文章主要介紹了python如何解決指定代碼段超時(shí)程序卡死，具有很好的參考價(jià)值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-11-11
pyqt5利用pyqtDesigner實(shí)現(xiàn)登錄界面
這篇文章主要為大家詳細(xì)介紹了pyqt5利用pyqtDesigner實(shí)現(xiàn)登錄界面，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2019-03-03
PyQt5如何將.ui文件轉(zhuǎn)換為.py文件的實(shí)例代碼
這篇文章主要介紹了PyQt5之如何將.ui文件轉(zhuǎn)換為.py文件,本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-05-05
今天小編就為大家分享一篇pytorch索引查找 index_select的例子，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-08-08
這篇文章主要介紹了Python實(shí)現(xiàn)的knn算法,結(jié)合實(shí)例形式詳細(xì)分析了Python實(shí)現(xiàn)knn算法的原理與相關(guān)操作技巧,并附帶給出了statsmodels模塊與pandas模塊的下載、安裝操作方法,需要的朋友可以參考下2018-06-06
Python使用signal定時(shí)結(jié)束AsyncIOScheduler任務(wù)的問題
這篇文章主要介紹了Python使用signal定時(shí)結(jié)束AsyncIOScheduler任務(wù),在使用aiohttp結(jié)合apscheduler的AsyncIOScheduler模擬定點(diǎn)并發(fā)的時(shí)候遇到兩個(gè)問題，針對每個(gè)問題給大家詳細(xì)介紹，需要的朋友可以參考下2021-07-07
使用BeautifulSoup4解析XML的方法小結(jié)
這篇文章主要介紹了使用BeautifulSoup4解析XML的方法小結(jié)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-12-12
這篇文章主要介紹了Django操作session 的方法，本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-03-03
這篇文章主要介紹了Python匿名函數(shù)及應(yīng)用,結(jié)合實(shí)例形式分析了Python匿名函數(shù)的功能、定義及函數(shù)作為參數(shù)傳遞的相關(guān)應(yīng)用操作技巧,需要的朋友可以參考下2019-04-04