快捷導(dǎo)航

Python3爬蟲學(xué)習(xí)之MySQL數(shù)據(jù)庫存儲(chǔ)爬取的信息詳解

更新時(shí)間：2018年12月12日 10:02:51 作者：Veniendeavor

這篇文章主要介紹了Python3爬蟲學(xué)習(xí)之MySQL數(shù)據(jù)庫存儲(chǔ)爬取的信息,涉及Python3針對(duì)mysql數(shù)據(jù)庫的連接、信息存儲(chǔ)等相關(guān)操作技巧,需要的朋友可以參考下

本文實(shí)例講述了Python3爬蟲學(xué)習(xí)之MySQL數(shù)據(jù)庫存儲(chǔ)爬取的信息。分享給大家供大家參考，具體如下：

數(shù)據(jù)庫存儲(chǔ)爬取的信息（MySQL）

爬取到的數(shù)據(jù)為了更好地進(jìn)行分析利用，而之前將爬取得數(shù)據(jù)存放在txt文件中后期處理起來會(huì)比較麻煩，很不方便，如果數(shù)據(jù)量比較大的情況下，查找更加麻煩，所以我們通常會(huì)把爬取的數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)庫中便于后期分析利用。

這里，數(shù)據(jù)庫選擇MySQL，采用pymysql 這個(gè)第三方庫來處理python和mysql數(shù)據(jù)庫的存取，python連接mysql數(shù)據(jù)庫的配置信息

db_config ={
  'host': '127.0.0.1',
  'port': 3306,
  'user': 'root',
  'password': '',
  'db': 'pytest',
  'charset': 'utf8'
}

以爬取簡(jiǎn)書首頁文章標(biāo)題以及url為例，先分析抓取目標(biāo)信息，

如上圖，文章題目在a標(biāo)簽中，且url（href）只含有后半部分，所以在存儲(chǔ)的時(shí)候，最好把它補(bǔ)全。

mysql：新建一個(gè)數(shù)據(jù)庫pytest，建立一張名為titles的表，表中字段分別為id(int自增)，title(varchar)，url(varchar),如下：

進(jìn)行數(shù)據(jù)庫操作的思路為：獲得數(shù)據(jù)庫連接（connection）->獲得游標(biāo)（cursor）->執(zhí)行sql語句（execute）->事物提交(commit)->關(guān)閉數(shù)據(jù)據(jù)庫連接（close），具體代碼實(shí)現(xiàn)如下：

# -*- coding:utf-8 -*-
from urllib import request
from bs4 import BeautifulSoup
import pymysql
# mysql連接信息（字典形式）
db_config ={
  'host': '127.0.0.1',
  'port': 3306,
  'user': 'root',
  'password': '',
  'db': 'pytest',
  'charset': 'utf8'
}
# 獲得數(shù)據(jù)庫連接
connection = pymysql.connect(**db_config)
# 數(shù)據(jù)庫配置，獲得連接（參數(shù)方式）
# connection = pymysql.connect(host='127.0.0.1',
#            port=3306,
#            user='root',
#            password='',
#            db='pytest',
#            charset='utf8')
url = r'http://www.jianshu.com/'
# 模擬瀏覽器頭
headers = {
  'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
}
page = request.Request(url, headers=headers)
page_info = request.urlopen(page).read().decode('utf-8')
soup = BeautifulSoup(page_info, 'html.parser')
urls = soup.find_all('a', 'title')
try:
  # 獲得數(shù)據(jù)庫游標(biāo)
  with connection.cursor() as cursor:
    sql = 'insert into titles(title, url) values(%s, %s)'
    for u in urls:
      # 執(zhí)行sql語句
      cursor.execute(sql, (u.string, r'http://www.jianshu.com'+u.attrs['href']))
  # 事務(wù)提交
  connection.commit()
finally:
  # 關(guān)閉數(shù)據(jù)庫連接
  connection.close()

代碼執(zhí)行結(jié)果：