Python 數(shù)據(jù)分析之Beautiful Soup 提取頁面信息

更新時間：2021年10月18日 14:48:16 作者：我是小白呀

Beautiful Soup 提供一些簡單的、python 式的函數(shù)用來處理導航、搜索、修改分析樹等功能。它是一個工具箱，通過解析文檔為用戶提供需要抓取的數(shù)據(jù)，因為簡單，所以不需要多少代碼就可以寫出一個完整的應用程序

概述

數(shù)據(jù)分析 (Data Analyze) 可以在工作中的各個方面幫助我們. 本專欄為量化交易專欄下的子專欄, 主要講解一些數(shù)據(jù)分析的基礎知識.

在這里插入圖片描述

Beautiful Soup

Beautiful 是一個可以從 HTML 或 XML 文件中提取數(shù)據(jù)的 Pyhton 庫. 簡單來說, 它能將 HTML 的標簽文件解析成樹形結構, 然后方便的獲取到指定標簽的對應屬性.

在這里插入圖片描述

安裝:

pip install beautifulsoup4

例子:

from bs4 import BeautifulSoup

# 創(chuàng)建一段HTML代碼
html_content = """
<html>
<head>
<title>我是小白呀的博客</title>
</head>
<body>
<p class="redColor">個人介紹</p>
</body>
</html>
"""

# 生成soup
soup = BeautifulSoup(html_content, "html.parser")

# 調(diào)試輸出
print(soup.title)  # 標題
print("name:", soup.title.name)
print(soup.head)  # 頭部
print("name:", soup.head.name)
print(soup.p)  # 段落
print("name:", soup.p.name)
print("class:", soup.p.attrs)

輸出結果:

<title>我是小白呀的博客</title>
name: title
<head>
<title>我是小白呀的博客</title>
</head>
name: head
<p class="redColor">個人介紹</p>
name: p
class: {'class': ['redColor']}
class: ['redColor']

提取頁面信息

例子:

from urllib import request
from bs4 import BeautifulSoup

# 網(wǎng)頁
url = "https://iamarookie.blog.csdn.net/"

# 發(fā)送請求
response = request.urlopen(url)

# 獲取內(nèi)容
html_content = response.read().decode("utf-8")

# 生成soup
soup = BeautifulSoup(html_content)

# 解析博客名字
blog_name = soup.find("div", attrs={"class":"user-profile-head-name"}).text
print("博客名字:\n", blog_name)

# 解析博客簽名
blog_signature = soup.find("div", attrs={"class":"user-profile-head-introduction"}).text
print("博客簽名:\n", blog_signature.strip())

輸出結果:

博客名字:
我是小白呀碼齡2年
博客簽名:
吾本布衣, 出自紐約, 四周大山. 簞瓢屢空, 環(huán)堵蕭然, 不弊風日. 吾好讀書, 滴水石穿, 笨鳥先飛, 求知不斷, 方能立足. 不羨孔北海之座上客常滿, 但求吾輩架上書常在. 涸轍遺鮒, 暮成枯, 人而無志, 與彼何殊. Self-study Computer Science. 愿為 open source 自效微力. 天高地闊，欲往觀之. 因為啥也不會, 默默做一只小白

在這里插入圖片描述