快捷導(dǎo)航

python3使用sqlite3構(gòu)建本地持久化緩存的過程

更新時(shí)間：2023年11月07日 08:52:04 作者：Mike_Zhang

日常python開發(fā)中會(huì)遇到數(shù)據(jù)持久化的問題，今天記錄下如何使用sqlite3進(jìn)行數(shù)據(jù)持久化，并提供示例代碼及數(shù)據(jù)查看工具,需要的朋友可以參考下

一、背景描述

python應(yīng)用程序在運(yùn)行過程中被kill掉（比如版本升級(jí)等情況），內(nèi)存中的運(yùn)行數(shù)據(jù)將會(huì)丟失，如果能夠準(zhǔn)實(shí)時(shí)將數(shù)據(jù)存儲(chǔ)在緩存中，程序下次啟動(dòng)時(shí)將繼續(xù)執(zhí)行被kill之前的動(dòng)作。

使用數(shù)據(jù)庫作為持久化是筆記理想的選擇，可現(xiàn)實(shí)情況可能需要python腳本進(jìn)行本地持久化，相較于pickle等方式，sqlite3的持久化方式可擴(kuò)展性比較強(qiáng)，方便后續(xù)遷移到mysql等數(shù)據(jù)庫。

二、具體實(shí)現(xiàn)

1、基礎(chǔ)使用示例

查看版本信息

import sqlite3
print(sqlite3.version_info) #顯示sqlite3版本信息
print(sqlite3.sqlite_version) #顯示SQLite版本信息

數(shù)據(jù)庫創(chuàng)建或連接

conn = sqlite3.connect("test1.db")
cur = conn.cursor()

數(shù)據(jù)表創(chuàng)建

dbCreate = '''
CREATE TABLE user(
    user_id int,
    user_name text,
    password text
)
'''
cur.executescript(dbCreate)
conn.commit()

插入數(shù)據(jù)

conn.execute("INSERT INTO user (user_id,user_name,password) VALUES(1,'user1','123456')")
conn.commit()

查詢數(shù)據(jù)

cursor = conn.execute("SELECT * FROM user")
for row in cursor.fetchall():
    print(row)

完整示例代碼如下：

#! /usr/bin/env python3
#--*-- ebcoding:utf-8 --*--
import sqlite3
dbCreate = '''
CREATE TABLE user(
    user_id int,
    user_name text,
    password text
)
'''
# 創(chuàng)建或連接數(shù)據(jù)庫
conn = sqlite3.connect("test1.db")
cur = conn.cursor()
cur.executescript(dbCreate)
conn.commit()
conn.execute("INSERT INTO user (user_id,user_name,password) VALUES(1,'user1','123456')")
conn.execute("INSERT INTO user (user_id,user_name,password) VALUES(2,'user2','123457')")
conn.commit()
cursor = conn.execute("SELECT * FROM user")
for row in cursor.fetchall():
    print(row)
conn.close()

運(yùn)行效果：

生成的 test1.db 數(shù)據(jù)庫文件可以使用 sqlitestudio 進(jìn)行查看，軟件運(yùn)行效果如下：

下載地址：

https://sqlitestudio.pl/

如果下載過慢，可從如下文末提供的渠道獲取。

2、代碼封裝示例

實(shí)際使用過程中，需要進(jìn)行代碼封裝，以便后續(xù)使用，這里以通話記錄為例演示下封裝過程。

1）定義全局緩存 gDCdrData，用于在內(nèi)存中存放數(shù)據(jù)；
2）定義全局隊(duì)列 gQCDR ，用于數(shù)據(jù)傳遞；
3）定義sqlite3持久化文件，并定義保留時(shí)長(zhǎng)；
4）創(chuàng)建 ObjCdrItem 類，用于定義item數(shù)據(jù)結(jié)構(gòu)；
5）定義sqlite3管理類 ObjCDRMgr，用于管理sqlite3數(shù)據(jù)庫；
6）啟動(dòng) dataGenThrd 線程模擬數(shù)據(jù)創(chuàng)建；
7）啟動(dòng) updateThrd 線程用于數(shù)據(jù)更新；
8）啟動(dòng) cleanThrd 線程用于數(shù)據(jù)清理；

示例代碼如下：