快捷導(dǎo)航

Python讀取和處理文件后綴為.sqlite的數(shù)據(jù)文件(實(shí)例講解)

更新時(shí)間：2017年06月27日 08:30:41 投稿：jingxian

下面小編就為大家?guī)?lái)一篇Python讀取和處理文件后綴為.sqlite的數(shù)據(jù)文件(實(shí)例講解)。小編覺得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧

最近在弄一個(gè)項(xiàng)目分析的時(shí)候，看到有一個(gè)后綴為”.sqlite”的數(shù)據(jù)文件，由于以前沒(méi)怎么接觸過(guò)，就想著怎么用python來(lái)打開并進(jìn)行數(shù)據(jù)分析與處理，于是稍微研究了一下。

SQLite是一款非常流行的關(guān)系型數(shù)據(jù)庫(kù)，由于它非常輕盈，因此被大量應(yīng)用程序采用。

像csv文件一樣，SQLite可以將數(shù)據(jù)存儲(chǔ)于單個(gè)數(shù)據(jù)文件，以便方便的分享給其他人員。許多編程語(yǔ)言都支持SQLite數(shù)據(jù)的處理，python語(yǔ)言也不例外。

sqlite3是python的一個(gè)標(biāo)準(zhǔn)庫(kù)，可以用于處理SQLite數(shù)據(jù)庫(kù)。

用sqlite3創(chuàng)建和操作數(shù)據(jù)庫(kù)文件

對(duì)于數(shù)據(jù)庫(kù)的SQL語(yǔ)句，本文會(huì)用到最基礎(chǔ)的SQL語(yǔ)句，應(yīng)該不影響閱讀。如果想進(jìn)一步了解，可參考如下網(wǎng)址：
http://www.w3school.com.cn/sql/index.asp

下面，我們來(lái)應(yīng)用salite3模塊來(lái)創(chuàng)建SQLite數(shù)據(jù)文件，以及進(jìn)行數(shù)據(jù)讀寫操作。

主要的步驟如下：

與數(shù)據(jù)庫(kù)建立連接，創(chuàng)建數(shù)據(jù)庫(kù)文件（.sqlite文件）

創(chuàng)建游標(biāo)（cursor）

創(chuàng)建數(shù)據(jù)表（table）

向數(shù)據(jù)表中插入數(shù)據(jù)

查詢數(shù)據(jù)

演示代碼如下：

import sqlite3

with sqlite3.connect('test_database.sqlite') as con:
 c = con.cursor()
 c.execute('''CREATE TABLE test_table
 (date text, city text, value real)''')
 for table in c.execute("SELECT name FROM sqlite_master WHERE type='table'"):
  print("Table", table[0])
 c.execute('''INSERT INTO test_table VALUES
 ('2017-6-25', 'bj', 100)''')
 c.execute('''INSERT INTO test_table VALUES
 ('2017-6-25', 'pydataroad', 150)''')
 c.execute("SELECT * FROM test_table")
 print(c.fetchall())

Table test_table
[('2017-6-25', 'bj', 100.0), ('2017-6-25', 'pydataroad', 150.0)]

關(guān)于SQLite數(shù)據(jù)庫(kù)中數(shù)據(jù)的可視化預(yù)覽，有很多的工具可以實(shí)現(xiàn)，我這里使用的是SQLite Studio，是一個(gè)免費(fèi)使用的工具，不需要安裝，下載下來(lái)就可以使用，有興趣的同學(xué)可以參考下面的鏈接。

https://sqlitestudio.pl/index.rvt?act=download

數(shù)據(jù)預(yù)覽的效果如下：

用pandas來(lái)讀取sqlite數(shù)據(jù)文件

從上面代碼的運(yùn)行結(jié)果可以看出，數(shù)據(jù)查詢的結(jié)果是一個(gè)由tuple組成的list。python的list數(shù)據(jù)在進(jìn)行進(jìn)一步的數(shù)據(jù)處理與分析時(shí)，可能會(huì)不太方便?？梢韵胂笠幌拢僭O(shè)如果數(shù)據(jù)庫(kù)的表格中一共有100萬(wàn)行或者更多數(shù)據(jù)，從list中循環(huán)遍歷獲取數(shù)據(jù)，效率會(huì)比較低。

這時(shí)，我們可以考慮用pandas提供的函數(shù)來(lái)從SQLite數(shù)據(jù)庫(kù)文件中讀取相關(guān)數(shù)據(jù)信息，并保存在DataFrame中，方便后續(xù)進(jìn)一步處理。

Pandas提供了兩個(gè)函數(shù)，均可以讀取后綴為“.sqlite”數(shù)據(jù)文件的信息。

read_sql()

read_sql_query()

import pandas as pd

with sqlite3.connect('test_database.sqlite') as con:

 # read_sql_query和read_sql都能通過(guò)SQL語(yǔ)句從數(shù)據(jù)庫(kù)文件中獲取數(shù)據(jù)信息
 df = pd.read_sql_query("SELECT * FROM test_table", con=con)
 # df = pd.read_sql("SELECT * FROM test_table", con=con)

 print(df.shape)
 print(df.dtypes)
 print(df.head())

(2, 3)
date      object
city      object
value    float64
dtype: object
        date        city value
0 2017-6-25          bj 100.0
1 2017-6-25 pydataroad 150.0

以上這篇Python讀取和處理文件后綴為.sqlite的數(shù)據(jù)文件(實(shí)例講解)就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

您可能感興趣的文章: