快捷導(dǎo)航

使用python實(shí)現(xiàn)簡(jiǎn)單爬取網(wǎng)頁(yè)數(shù)據(jù)并導(dǎo)入MySQL中的數(shù)據(jù)庫(kù)

更新時(shí)間：2023年06月20日 09:59:34 作者：A等天晴

這篇文章主要為大家詳細(xì)介紹了如何使用 python 實(shí)現(xiàn)簡(jiǎn)單爬取網(wǎng)頁(yè)數(shù)據(jù)并導(dǎo)入 MySQL 中的數(shù)據(jù)庫(kù)，對(duì)我們的學(xué)習(xí)或工作有一定的幫助,需要的朋友可以參考下

前言：要使用 Python 爬取網(wǎng)頁(yè)數(shù)據(jù)并將數(shù)據(jù)導(dǎo)入 MySQL 數(shù)據(jù)庫(kù)，您需要使用 Requests 庫(kù)進(jìn)行網(wǎng)頁(yè)抓取，使用 BeautifulSoup 庫(kù)對(duì)抓取到的 HTML 進(jìn)行解析，并使用 PyMySQL 庫(kù)與 MySQL 進(jìn)行交互。

以下是一個(gè)簡(jiǎn)單的示例：

1. 安裝所需庫(kù)：

pip install requests beautifulsoup4 pymysql

2. 導(dǎo)入所需庫(kù)：

import requests
from bs4 import BeautifulSoup
import pymysql

3. 建立數(shù)據(jù)庫(kù)連接：

db = pymysql.connect(
    host='localhost',
    user='root',
    password='password',
    db='mydatabase'
)

這里我們假設(shè)您已經(jīng)在本地搭建了 MySQL 數(shù)據(jù)庫(kù)，并創(chuàng)建了一個(gè)名為 `mydatabase` 的數(shù)據(jù)庫(kù)。您需要根據(jù)實(shí)際情況修改主機(jī)、用戶名、密碼和數(shù)據(jù)庫(kù)名。

4. 使用 Requests 庫(kù)抓取網(wǎng)頁(yè)：

url = 'http://www.example.com'
response = requests.get(url)
html = response.text

5. 使用 BeautifulSoup 庫(kù)解析 HTML：

soup = BeautifulSoup(html, 'html.parser')
data = soup.find_all('a')

6. 使用 PyMySQL 庫(kù)將數(shù)據(jù)導(dǎo)入數(shù)據(jù)庫(kù)：

cursor = db.cursor()
for item in data:
    title = item.string
    url = item.get('href')
    sql = f"INSERT INTO mytable (title, url) VALUES ('{title}', '{url}')"
    cursor.execute(sql)
db.commit()

這里我們使用了 PyMySQL 庫(kù)的 `cursor` 方法創(chuàng)建游標(biāo)，然后遍歷解析后的數(shù)據(jù)，并使用 SQL 語(yǔ)句將數(shù)據(jù)插入到數(shù)據(jù)庫(kù)表中。

完整的示例代碼如下：

import requests
from bs4 import BeautifulSoup
import pymysql
# 建立數(shù)據(jù)庫(kù)連接
db = pymysql.connect(
    host='localhost',
    user='root',
    password='password',
    db='mydatabase'
)
# 抓取網(wǎng)頁(yè)
url = 'http://www.example.com'
response = requests.get(url)
html = response.text
# 解析 HTML
soup = BeautifulSoup(html, 'html.parser')
data = soup.find_all('a')
# 將數(shù)據(jù)導(dǎo)入數(shù)據(jù)庫(kù)
cursor = db.cursor()
for item in data:
    title = item.string
    url = item.get('href')
    sql = f"INSERT INTO mytable (title, url) VALUES ('{title}', '{url}')"
    cursor.execute(sql)
db.commit()
# 關(guān)閉數(shù)據(jù)庫(kù)連接
db.close()

注意，這里示例代碼僅為演示使用，并未對(duì) SQL 注入攻擊進(jìn)行防范，請(qǐng)勿直接在生產(chǎn)環(huán)境中使用。同時(shí)，您也需要根據(jù)實(shí)際情況修改表名、字段名和 SQL 語(yǔ)句等內(nèi)容。

這只是單純的思路，僅供參考。

到此這篇關(guān)于使用python實(shí)現(xiàn)簡(jiǎn)單爬取網(wǎng)頁(yè)數(shù)據(jù)并導(dǎo)入MySQL中的數(shù)據(jù)庫(kù)的文章就介紹到這了,更多相關(guān)python 爬取網(wǎng)頁(yè)數(shù)據(jù)導(dǎo)入MySQL內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: