python3爬蟲獲取html內容及各屬性值的方法
更新時間：2018年12月17日 14:36:31 作者：android-李志強
今天小編就為大家分享一篇python3爬蟲獲取html內容及各屬性值的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
今天用到BeautifulSoup解析爬下來的網頁數據
首先導入包from bs4 import BeautifulSoup
然后可以利用urllib請求數據
記得要導包
import urllib.request
然后調用urlopen，讀取數據
f=urllib.request.urlopen(‘http://jingyan.baidu.com/article/455a9950bc94b8a166277898.html‘) response=f.read()
這里我們就不請求數據了，直接用本地的html代碼，如下
注意：”'xxx”'是多行注釋
#python3
from bs4 import BeautifulSoup
html='''<html>
<head>
<title class='ceshi'>super 哈哈 star</title>
</head>
<body>
天下第一帥
<p class='sister'>
是不是
</p>
</body>
</html>'''
#用BeautifulSoup解析數據 python3 必須傳入參數二'html.parser' 得到一個對象，接下來獲取對象的相關屬性
html=BeautifulSoup(html,'html.parser')
# 讀取title內容
print(html.title)
# 讀取title屬性
attrs=html.title.attrs
print(attrs)
# 獲取屬性attrs['class'] ---->['ceshi'] 這是一個list 通過下標可以獲取值
print(attrs['class'][0])
# 讀取body
print(html.body)
讀取數據還可以通過BeautifulSoup的select方法
html.select()
#按標簽名查找
soup.select('title')
soup.select('body')
# 按類名查找
soup.select('.sister')
# 按id名查找
# p標簽中id為link的標簽
soup.select('p #link')
#取標簽里面的值
soup.p.string
#取標簽里屬性值 通過href獲取
html['href']
以上這篇python3爬蟲獲取html內容及各屬性值的方法就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
這篇文章主要介紹了Python中的閉包，閉包在函數中提出的概念，簡單來說就是一個函數定義中引用了函數外定義的變量，并且該函數可以在其定義環(huán)境外被執(zhí)行。這樣的一個函數我們稱之為閉包，下面我們一起來看看文章內容的具體介紹2021-11-11
這篇文章主要介紹了python實現LBP方法提取圖像紋理特征實現分類的步驟，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-07-07
這篇文章主要介紹了pyinstaller參數介紹以及總結詳解，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-07-07
python django使用haystack:全文檢索的框架(實例講解)
下面小編就為大家?guī)硪黄猵ython django使用haystack:全文檢索的框架(實例講解)。小編覺得挺不錯的，現在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-09-09
這篇文章主要給大家介紹了關于django主動拋出403異常的相關資料，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-01-01
這篇文章主要介紹了python獲取從命令行輸入數字的方法,涉及Python操作命令行輸入的相關技巧,需要的朋友可以參考下2015-04-04
這篇文章主要介紹了基于Python實現剪切板實時監(jiān)控方法解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-09-09
這篇文章主要介紹了PyCharm新建.py文件時默認添加信息的實現方式，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-07-07
在本篇文章小編給大家整理的是關于Django的CVB實例詳解內容，有需要的朋友們可以跟著學習下。2020-02-02
Pygame是一組用來開發(fā)游戲軟件的 Python 程序模塊,Pygame 在 SDL（Simple DirectMedia Layer） 的基礎上開發(fā)而成,它提供了諸多操作模塊,本文給大家介紹了Python中pygame游戲模塊的用法,需要的朋友可以參考下2024-01-01