快捷導(dǎo)航

Python數(shù)據(jù)持久化存儲(chǔ)實(shí)現(xiàn)方法分析

更新時(shí)間：2019年12月21日 12:37:28 作者：為挽月明

這篇文章主要介紹了Python數(shù)據(jù)持久化存儲(chǔ)實(shí)現(xiàn)方法,結(jié)合實(shí)例形式分析了Python基于pymongo及mysql模塊的數(shù)據(jù)持久化存儲(chǔ)操作相關(guān)實(shí)現(xiàn)技巧,需要的朋友可以參考下

本文實(shí)例講述了Python數(shù)據(jù)持久化存儲(chǔ)實(shí)現(xiàn)方法。分享給大家供大家參考，具體如下：

1、pymongo的使用

前三步為創(chuàng)建對(duì)象

第一步創(chuàng)建連接對(duì)象

conn = pymongo.MongoClient('IP地址'，27017)

第二步創(chuàng)建庫(kù)

db = conn['庫(kù)名']

第三步創(chuàng)建表

myset = db['集合名']

第四步把數(shù)據(jù)插入數(shù)據(jù)庫(kù)

myset.inset.one({})

#!/usr/bin/python
# -*- coding: utf-8 -*-
# @Time : 2019/6/26 8:56
# @Author : #####
# @Site :
# @File : 貓眼電影_mongo存儲(chǔ).py
# @Software: PyCharm
from urllib import request
import re
import time
import pymongo
class MaoyanSpider(object):
  def __init__(self):
    self.headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.5221.400 QQBrowser/10.0.1125.400'}
    #用來(lái)計(jì)數(shù)
    self.page=1
    #連接對(duì)象
    self.coon =pymongo.MongoClient('locslhost',27017)
    #創(chuàng)建庫(kù)對(duì)象
    self.db=self.coon['maoyaodb']
    #集合對(duì)象
    self.myset=self.db['top100']
  def get_page(self,url):
    req = request.Request(url,headers=self.headers)
    res = request.urlopen(req)
    html = res.read().decode('utf-8')
    self.parse_page(html)
  def parse_page(self,html):
    p = re.compile( '<div class="movie-item-info">.*?title="(.*?)".*?class="star">(.*?)</p>.*?class="releasetime">(.*?)</p>',re.S)
    r_list = p.findall(html)
    self.write_mongo(r_list)
  def write_mongo(self,r_list):
    for r_t in r_list:
      d={
        '電影名稱：':r_t[0].strip(),
        '電影主演：':r_t[1].strip(),
        '上映時(shí)間：':r_t[2].strip()
      }
    #插入數(shù)據(jù)庫(kù)
      self.myset.inset.one(d)
  def work_on(self):
    for pn in range(0,41,10):
      url = 'https://maoyan.com/board/4?offset=%s' % str(pn)
      self.get_page(url)
      print('第%d頁(yè)爬取成功' % self.page)
      self.page += 1
      time.sleep(4)
if __name__ == '__main__':
  begin = time.time()
  spider = MaoyanSpider()
  spider.work_on()
  end = time.time()
  print("執(zhí)行時(shí)間%.2f" % (end - begin)) #注不完美，仍然需修改

2、mysql的使用

Mysql-front可視化工具，建庫(kù)建表添加字段

1、創(chuàng)建連接對(duì)象：db = pymysql.connet

2、創(chuàng)建游標(biāo)對(duì)象：cursor = db.sursor

3、執(zhí)行命令：cursor.execute()

4、提交到數(shù)據(jù)庫(kù)執(zhí)行

5、關(guān)閉：cursor.close

mysql-Front使用流程

1、創(chuàng)建數(shù)據(jù)庫(kù)：

localhost--數(shù)據(jù)庫(kù)--新建---數(shù)據(jù)庫(kù)

數(shù)據(jù)庫(kù)名改為maoyan （項(xiàng)目mysql庫(kù)名）--- 字符集utf8 ---確定

2、創(chuàng)建表：