最近在弄一個(gè)項(xiàng)目分析的時(shí)候，看到有一個(gè)后綴為”.sqlite”的數(shù)據(jù)文件，由于以前沒怎么接觸過，就想著怎么用python來打開并進(jìn)行數(shù)據(jù)分析與處理，于是稍微研究了一下。

SQLite是一款非常流行的關(guān)系型數(shù)據(jù)庫(kù)，由于它非常輕盈，因此被大量應(yīng)用程序采用。

像csv文件一樣，SQLite可以將數(shù)據(jù)存儲(chǔ)于單個(gè)數(shù)據(jù)文件，以便方便的分享給其他人員。許多編程語言都支持SQLite數(shù)據(jù)的處理，python語言也不例外。

sqlite3是python的一個(gè)標(biāo)準(zhǔn)庫(kù)，可以用于處理SQLite數(shù)據(jù)庫(kù)。

用sqlite3創(chuàng)建和操作數(shù)據(jù)庫(kù)文件

對(duì)于數(shù)據(jù)庫(kù)的SQL語句，本文會(huì)用到最基礎(chǔ)的SQL語句，應(yīng)該不影響閱讀。如果想進(jìn)一步了解，可參考如下網(wǎng)址：
http://www.w3school.com.cn/sql/index.asp

下面，我們來應(yīng)用salite3模塊來創(chuàng)建SQLite數(shù)據(jù)文件，以及進(jìn)行數(shù)據(jù)讀寫操作。

主要的步驟如下：

與數(shù)據(jù)庫(kù)建立連接，創(chuàng)建數(shù)據(jù)庫(kù)文件（.sqlite文件）

創(chuàng)建游標(biāo)（cursor）

創(chuàng)建數(shù)據(jù)表（table）

向數(shù)據(jù)表中插入數(shù)據(jù)

查詢數(shù)據(jù)

演示代碼如下：

import sqlite3

with sqlite3.connect('test_database.sqlite') as con:
 c = con.cursor()
 c.execute('''CREATE TABLE test_table
 (date text, city text, value real)''')
 for table in c.execute("SELECT name FROM sqlite_master WHERE type='table'"):
  print("Table", table[0])
 c.execute('''INSERT INTO test_table VALUES
 ('2017-6-25', 'bj', 100)''')
 c.execute('''INSERT INTO test_table VALUES
 ('2017-6-25', 'pydataroad', 150)''')
 c.execute("SELECT * FROM test_table")
 print(c.fetchall())

Table test_table
[('2017-6-25', 'bj', 100.0), ('2017-6-25', 'pydataroad', 150.0)]

關(guān)于SQLite數(shù)據(jù)庫(kù)中數(shù)據(jù)的可視化預(yù)覽，有很多的工具可以實(shí)現(xiàn)，我這里使用的是SQLite Studio，是一個(gè)免費(fèi)使用的工具，不需要安裝，下載下來就可以使用，有興趣的同學(xué)可以參考下面的鏈接。

https://sqlitestudio.pl/index.rvt?act=download

數(shù)據(jù)預(yù)覽的效果如下：

用pandas來讀取sqlite數(shù)據(jù)文件

從上面代碼的運(yùn)行結(jié)果可以看出，數(shù)據(jù)查詢的結(jié)果是一個(gè)由tuple組成的list。python的list數(shù)據(jù)在進(jìn)行進(jìn)一步的數(shù)據(jù)處理與分析時(shí)，可能會(huì)不太方便。可以想象一下，假設(shè)如果數(shù)據(jù)庫(kù)的表格中一共有100萬行或者更多數(shù)據(jù)，從list中循環(huán)遍歷獲取數(shù)據(jù)，效率會(huì)比較低。

這時(shí)，我們可以考慮用pandas提供的函數(shù)來從SQLite數(shù)據(jù)庫(kù)文件中讀取相關(guān)數(shù)據(jù)信息，并保存在DataFrame中，方便后續(xù)進(jìn)一步處理。

Pandas提供了兩個(gè)函數(shù)，均可以讀取后綴為“.sqlite”數(shù)據(jù)文件的信息。

read_sql()

read_sql_query()

import pandas as pd

with sqlite3.connect('test_database.sqlite') as con:

 # read_sql_query和read_sql都能通過SQL語句從數(shù)據(jù)庫(kù)文件中獲取數(shù)據(jù)信息
 df = pd.read_sql_query("SELECT * FROM test_table", con=con)
 # df = pd.read_sql("SELECT * FROM test_table", con=con)

 print(df.shape)
 print(df.dtypes)
 print(df.head())

(2, 3)
date      object
city      object
value    float64
dtype: object
        date        city  value
0  2017-6-25          bj  100.0
1  2017-6-25  pydataroad  150.0

以上這篇Python讀取和處理文件后綴為.sqlite的數(shù)據(jù)文件(實(shí)例講解)就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

最新評(píng)論