基于pycharm的beautifulsoup4庫使用方法教程
1.beautifulsoup4庫安裝
第一步：在控制臺(tái)輸入如下命令，安裝beautifulsoup4庫。
pip install beautifulsoup4
第三步：在pycharm中，點(diǎn)擊file——settings——project——python interpreter——點(diǎn)擊+號(hào)——搜索beautifulsoup4——install package！
這樣就可以在.py文件中導(dǎo)入模塊了！
2.beautifulsoup4庫使用
import requests
# 雖然庫名叫做beautiful4 但是在導(dǎo)入時(shí) 使用的是其縮寫bs4 其中BeautifulSoup是一個(gè)類名
from bs4 import BeautifulSoup
url = 'https://www.baidu.com/s?'
# 由于一般網(wǎng)站都是供用戶訪問 如果檢測(cè)到User-Agent是黑客或者其他可能拒絕訪問 故此處模擬瀏覽器
headers = {
? ? 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36'
}
response = requests.get(url=url, headers=headers)
# 以防亂碼 此處將其編碼設(shè)置為utf-8 因?yàn)橛兄形?
response.encoding = 'utf-8'
# print(response.text)
# 使用的解析器是html.parser 注意是.奧
soup = BeautifulSoup(response.text, 'html.parser')
# 打印解析后的結(jié)果
print(soup.prettify())需要講解的都在代碼注釋中了奧！
3.beautifulsoup4庫基本元素
beautifulsoup4庫是解析、遍歷、維護(hù)“標(biāo)簽樹”的功能庫。
首先來看BeautifulSoup庫解析器，前兩個(gè)比較常用！
在上述代碼的基礎(chǔ)上，增加如下幾行，結(jié)合基本元素的使用，可得到如圖所示。
需要注意的是，.string可以跨標(biāo)簽，所以很有可能結(jié)果也為注釋，為了區(qū)分是標(biāo)簽內(nèi)的字符串還是注釋，可以通過打印類型來判斷。
接下來，看一下BeautifulSoup庫的遍歷，其中畫紅框的迭代遍歷，可以用于for in循環(huán)中。
4.beautifulsoup4庫的HTML查找方法
find_all( name , attrs , recursive , string , **kwargs )
find_all() 方法搜索當(dāng)前tag的所有tag子節(jié)點(diǎn),并判斷是否符合過濾器的條件。
name 參數(shù)可以對(duì)名字為 name 的標(biāo)簽進(jìn)行檢索。
attrs參數(shù)可以對(duì)標(biāo)簽屬性值為attrs的標(biāo)簽進(jìn)行檢索。
recursive參數(shù)表示是否對(duì)子孫全部檢索，默認(rèn)是TRUE，如果只想搜索當(dāng)前節(jié)點(diǎn)的兒子信息，可以置其為FALSE。
string 參數(shù)可以標(biāo)簽中的字符串內(nèi)容進(jìn)行檢索。
5.補(bǔ)充Json（Javascript Object Notation）
我們學(xué)過js的或者java的，應(yīng)該對(duì)Json不陌生吧！
Json是一種有類型的鍵值對(duì)！
需要注意的是，鍵和值都需要用"“括起來，如果值是整數(shù)，則可以不用”"！
如果值是多值，則可以用[,]；如果值是鍵值對(duì)，則可以用{:,:,}，可以嵌套使用。
JSON一般用于接口，而YAML是無類型鍵值對(duì)，一般用于配置文件。
到此這篇關(guān)于基于pycharm的beautifulsoup4庫使用方法教程的文章就介紹到這了,更多相關(guān)pycharm的beautifulsoup4庫使用內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
PyQtGraph建立在Qt QGraphicsScene的原生庫，可提供更好更高性能繪圖能力，特別是對(duì)于實(shí)時(shí)數(shù)據(jù)，可以提供交互性和使用Qt圖形小部件輕松自定義繪圖的能力。本文就來解釋一下pyqtgraph的用法，需要的可以收藏一下2022-12-12
解決python gdal投影坐標(biāo)系轉(zhuǎn)換的問題
今天小編就為大家分享一篇解決python gdal投影坐標(biāo)系轉(zhuǎn)換的問題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-01-01
這篇文章主要介紹了圖解Python中的淺拷貝和深拷貝,深拷貝,拷貝的程度深,自己新開辟了一塊內(nèi)存,將被拷貝內(nèi)容全部拷貝過來了,淺拷貝,拷貝的程度淺,只拷貝原數(shù)據(jù)的首地址,然后通過原數(shù)據(jù)的首地址,去獲取內(nèi)容,需要的朋友可以參考下2023-11-11
python實(shí)現(xiàn)逆波蘭計(jì)算表達(dá)式實(shí)例詳解
這篇文章主要介紹了python實(shí)現(xiàn)逆波蘭計(jì)算表達(dá)式的方法,較為詳細(xì)的分析了逆波蘭表達(dá)式的概念及實(shí)現(xiàn)技巧,具有一定參考借鑒價(jià)值,需要的朋友可以參考下2015-05-05
Python實(shí)例一個(gè)類背后發(fā)生了什么
Python實(shí)例一個(gè)類背后發(fā)生了什么，本文為大家一一列出，感興趣的朋友可以參考一下2016-02-02
python動(dòng)態(tài)性強(qiáng)類型用法實(shí)例
這篇文章主要介紹了python動(dòng)態(tài)性強(qiáng)類型用法,對(duì)比C#實(shí)例分析了python動(dòng)態(tài)性強(qiáng)類型的使用方法,需要的朋友可以參考下2015-05-05
Python即時(shí)網(wǎng)絡(luò)爬蟲項(xiàng)目啟動(dòng)說明詳解
這篇文章主要為大家詳細(xì)介紹了Python即時(shí)網(wǎng)絡(luò)爬蟲項(xiàng)目啟動(dòng)說明，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-02-02
這篇文章主要介紹了深入理解Javascript中的this關(guān)鍵字,本文講解了方法調(diào)用模式、函數(shù)調(diào)用模式、構(gòu)造器調(diào)用模式、apply調(diào)用模式 中this的不同之處,需要的朋友可以參考下2015-03-03
在本篇文章里小編給大家分享了關(guān)于python列表推導(dǎo)式的含義及用法，需要的朋友們可以參考下。2020-05-05
python中DataFrame數(shù)據(jù)合并merge()和concat()方法詳解
Pandas提供了很多合并Series和Dataframe的強(qiáng)大的功能，通過這些功能可以方便的進(jìn)行數(shù)據(jù)分析,下面這篇文章主要給大家介紹了關(guān)于python中DataFrame數(shù)據(jù)合并merge()和concat()方法的相關(guān)資料,需要的朋友可以參考下2022-07-07