Python讀取和處理文件后綴為.sqlite的數據文件(實例講解)

更新時間：2017年06月27日 08:30:41 投稿：jingxian

下面小編就為大家?guī)硪黄狿ython讀取和處理文件后綴為.sqlite的數據文件(實例講解)。小編覺得挺不錯的，現在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧

最近在弄一個項目分析的時候，看到有一個后綴為”.sqlite”的數據文件，由于以前沒怎么接觸過，就想著怎么用python來打開并進行數據分析與處理，于是稍微研究了一下。

SQLite是一款非常流行的關系型數據庫，由于它非常輕盈，因此被大量應用程序采用。

像csv文件一樣，SQLite可以將數據存儲于單個數據文件，以便方便的分享給其他人員。許多編程語言都支持SQLite數據的處理，python語言也不例外。

sqlite3是python的一個標準庫，可以用于處理SQLite數據庫。

用sqlite3創(chuàng)建和操作數據庫文件

對于數據庫的SQL語句，本文會用到最基礎的SQL語句，應該不影響閱讀。如果想進一步了解，可參考如下網址：
http://www.w3school.com.cn/sql/index.asp

下面，我們來應用salite3模塊來創(chuàng)建SQLite數據文件，以及進行數據讀寫操作。

主要的步驟如下：

與數據庫建立連接，創(chuàng)建數據庫文件（.sqlite文件）

創(chuàng)建游標（cursor）

創(chuàng)建數據表（table）

向數據表中插入數據

查詢數據

演示代碼如下：

import sqlite3

with sqlite3.connect('test_database.sqlite') as con:
 c = con.cursor()
 c.execute('''CREATE TABLE test_table
 (date text, city text, value real)''')
 for table in c.execute("SELECT name FROM sqlite_master WHERE type='table'"):
  print("Table", table[0])
 c.execute('''INSERT INTO test_table VALUES
 ('2017-6-25', 'bj', 100)''')
 c.execute('''INSERT INTO test_table VALUES
 ('2017-6-25', 'pydataroad', 150)''')
 c.execute("SELECT * FROM test_table")
 print(c.fetchall())

Table test_table
[('2017-6-25', 'bj', 100.0), ('2017-6-25', 'pydataroad', 150.0)]

關于SQLite數據庫中數據的可視化預覽，有很多的工具可以實現，我這里使用的是SQLite Studio，是一個免費使用的工具，不需要安裝，下載下來就可以使用，有興趣的同學可以參考下面的鏈接。

https://sqlitestudio.pl/index.rvt?act=download

數據預覽的效果如下：

用pandas來讀取sqlite數據文件

從上面代碼的運行結果可以看出，數據查詢的結果是一個由tuple組成的list。python的list數據在進行進一步的數據處理與分析時，可能會不太方便?？梢韵胂笠幌拢僭O如果數據庫的表格中一共有100萬行或者更多數據，從list中循環(huán)遍歷獲取數據，效率會比較低。

這時，我們可以考慮用pandas提供的函數來從SQLite數據庫文件中讀取相關數據信息，并保存在DataFrame中，方便后續(xù)進一步處理。

Pandas提供了兩個函數，均可以讀取后綴為“.sqlite”數據文件的信息。

read_sql()

read_sql_query()

import pandas as pd

with sqlite3.connect('test_database.sqlite') as con:

 # read_sql_query和read_sql都能通過SQL語句從數據庫文件中獲取數據信息
 df = pd.read_sql_query("SELECT * FROM test_table", con=con)
 # df = pd.read_sql("SELECT * FROM test_table", con=con)

 print(df.shape)
 print(df.dtypes)
 print(df.head())

(2, 3)
date      object
city      object
value    float64
dtype: object
        date        city value
0 2017-6-25          bj 100.0
1 2017-6-25 pydataroad 150.0

以上這篇Python讀取和處理文件后綴為.sqlite的數據文件(實例講解)就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持腳本之家。

您可能感興趣的文章: