Pandas操作MySQL的方法詳解
本文介紹的是如何使用Pandas來操作MySQL數(shù)據(jù)庫
。主要是包含查詢MySQL中的數(shù)據(jù),以及如何往數(shù)據(jù)庫中寫入數(shù)據(jù)。
先安裝兩個(gè)庫:
- pymysql
- sqlalchemy
pip?install?pymysql pip?install?sqlalchemy
本地?cái)?shù)據(jù)庫
查看一個(gè)本地?cái)?shù)據(jù)庫中某個(gè)表的數(shù)據(jù)。這份數(shù)據(jù)是《MySQL經(jīng)典50題》的一個(gè)表之一:
部分習(xí)題答案:
mysql?-u?root?-p???--?安裝mysql,進(jìn)入數(shù)據(jù)庫輸入暗文密碼 show?databases;??--?顯示全部數(shù)據(jù)庫 use?test;??--?使用某個(gè)數(shù)據(jù)庫 show?tables;??--?查看數(shù)據(jù)庫下的全部表 select?*?from?Student;??--?查看某個(gè)表的全部?jī)?nèi)容
操作MySQL
連接MySQL
以pymysql模塊為例,講解如何連接數(shù)據(jù)庫。
In [1]:
import?pandas?as?pd import?pymysql from?sqlalchemy?import?create_engine
In [2]:
connection?=?pymysql.connect( ??host='127.0.0.1',??#?本機(jī)ip地址 ??port=3306,??#?mysql默認(rèn)端口號(hào) ??user="root",??#?用戶名 ??password="password",??#?密碼 ??charset="utf8",?#?字符集 ??db="test"??#?數(shù)據(jù)庫 ) cur?=?connection.cursor()?#?建立游標(biāo) cur
Out[2]:
<pymysql.cursors.Cursor at 0x11ddc1190>
connect()方法常用的參數(shù):
connect() 常用參數(shù) | 說明 |
---|---|
host | 主機(jī)ip |
user | 用戶名 |
password | 密碼 |
database | 數(shù)據(jù)庫 |
port | 端口號(hào) |
charset | 字符集 |
調(diào)用 cursor() 方法即可返回一個(gè)新的游標(biāo)對(duì)象,在連接沒有關(guān)閉之前,游標(biāo)對(duì)象可以反復(fù)使用
執(zhí)行sql查詢語句
In [3]:
sql="""??#?待執(zhí)行的sql語句 select?*?from?Student; """ #?執(zhí)行sql語句 cur.execute(sql)??
Out[3]:
8
In [4]:
cur
結(jié)果表明是個(gè)游標(biāo)對(duì)象:
Out[4]:
<pymysql.cursors.Cursor at 0x11ddc1190>
In [5]:
cur.description
主要返回游標(biāo)的屬性信息,官網(wǎng)的描述為:
Out[5]:
(('s_id', 253, None, 20, 20, 0, False),
('s_name', 253, None, 20, 20, 0, True),
('s_birth', 253, None, 20, 20, 0, True),
('s_sex', 253, None, 20, 20, 0, True))
In [6]:
#?列名 columns?=?[col[0]?for?col?in??cur.description] columns
Out[6]:
['s_id', 's_name', 's_birth', 's_sex']
游標(biāo)使用
下圖顯示的是如何取出一條或者多條數(shù)據(jù)(按照順序查詢)
通過游標(biāo)獲取全部的數(shù)據(jù):
fetch相關(guān)的函數(shù)都是獲取結(jié)果集中剩下的數(shù)據(jù),多次調(diào)用的時(shí)候只會(huì)從剩余數(shù)據(jù)中查詢:
當(dāng)?shù)诙握{(diào)用的時(shí)候結(jié)果就是空集。
通過游標(biāo)獲取查詢的結(jié)果集的特點(diǎn):
1.可以獲取1條、多條和全部數(shù)據(jù)
2.在獲取數(shù)據(jù)的時(shí)候是按照順序讀取的
3.fetchall函數(shù)返回剩下的所有行
- 如果是末尾,則返回空元組;
- 否則返回一個(gè)元組,其元素是每一行的記錄封裝的一個(gè)元組
轉(zhuǎn)成DataFrame
#?列名 columns?=?[col[0]?for?col?in??cur.description] #?數(shù)據(jù)集合 data?=?[] for?i?in?cur.fetchall(): ????data.append(i) ???? df?=?pd.DataFrame(data,columns=columns)
保存成CSV數(shù)據(jù)
SQL插入數(shù)據(jù)
往MySQL數(shù)據(jù)庫中插入數(shù)據(jù):
import?pandas?as?pd import?pymysql from?sqlalchemy?import?create_engine connection?=?pymysql.connect( ??host='127.0.0.1',??#?本機(jī)ip地址 ??port=3306,??#?mysql默認(rèn)端口號(hào) ??user="root",??#?用戶名 ??password="11112222",??#?密碼 ??charset="utf8",?#?字符集 ??db="test"??#?數(shù)據(jù)庫 ) cur?=?connection.cursor()?#?建立游標(biāo) #?待執(zhí)行SQL語句 sql="""?? insert?into?test.Student(s_id,?s_name,?s_birth,?s_sex)?values("09","吳越","1998-08-08","男") """ #?執(zhí)行sql語句 cur.execute(sql)??
很關(guān)鍵一步,要記得提交,這樣最終才會(huì)寫入數(shù)據(jù)庫:
connection.commit()
執(zhí)行SQL刪除語句
使用完之后記得關(guān)閉連接:
connection.close()
使用sqlalchemy
第二種常用的方法是通過sqlalchemy來連接數(shù)據(jù)庫:
連接數(shù)據(jù)庫
import?pandas?as?pd from?sqlalchemy?import?create_engine #?依次填寫MySQL的用戶名、密碼、IP地址、端口、數(shù)據(jù)庫名 #?create_engine("數(shù)據(jù)庫類型+數(shù)據(jù)庫驅(qū)動(dòng)://數(shù)據(jù)庫用戶名:數(shù)據(jù)庫密碼@IP地址:端口/數(shù)據(jù)庫",其他參數(shù)) engine?=?create_engine("mysql+pymysql://root:password@localhost:3306/test")
查詢語句1
查詢語句2
寫入數(shù)據(jù)
將Pandas
中的DataFrame
寫入新的表testdf
中:
show?tables;
使用read_sql讀取
使用Pandas自帶的read_sql函數(shù)能夠自行讀取數(shù)據(jù),讀取上面創(chuàng)建的數(shù)據(jù).
官網(wǎng):https://pandas.pydata.org/docs/reference/api/pandas.read_sql.html
import?pandas?as?pd from?sqlalchemy?import?create_engine #?依次填寫MySQL的用戶名、密碼、IP地址、端口、數(shù)據(jù)庫名 engine?=?create_engine("mysql+pymysql://root:password@localhost:3306/test") #?sql語句 sql4?=?"select?*?from?testdf;" df4?=?pd.read_sql(sql4,?engine)
到此這篇關(guān)于Pandas操作MySQL的方法詳解的文章就介紹到這了,更多相關(guān)Pandas操作MySQL內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
- Python pymysql連接數(shù)據(jù)庫并將查詢結(jié)果轉(zhuǎn)化為Pandas dataframe
- Pandas常用的讀取和保存數(shù)據(jù)的函數(shù)使用(csv,mysql,json,excel)
- python基于Pandas讀寫MySQL數(shù)據(jù)庫
- 將pymysql獲取到的數(shù)據(jù)類型是tuple轉(zhuǎn)化為pandas方式
- Python使用Pandas庫實(shí)現(xiàn)MySQL數(shù)據(jù)庫的讀寫
- 使用python的pandas庫讀取csv文件保存至mysql數(shù)據(jù)庫
- Python使用Pandas庫實(shí)現(xiàn)MySQL數(shù)據(jù)庫讀寫
相關(guān)文章
Python3實(shí)現(xiàn)個(gè)位數(shù)字和十位數(shù)字對(duì)調(diào), 其乘積不變
這篇文章主要介紹了Python3實(shí)現(xiàn)個(gè)位數(shù)字和十位數(shù)字對(duì)調(diào), 其乘積不變,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-05-05Python處理字符串的常用函數(shù)實(shí)例總結(jié)
在數(shù)據(jù)分析中,特別是文本分析中,字符處理需要耗費(fèi)極大的精力,因而了解字符處理對(duì)于數(shù)據(jù)分析而言,也是一項(xiàng)很重要的能力,這篇文章主要給大家介紹了關(guān)于Python處理字符串的常用函數(shù),需要的朋友可以參考下2021-11-11django執(zhí)行數(shù)據(jù)庫查詢之后實(shí)現(xiàn)返回的結(jié)果集轉(zhuǎn)json
這篇文章主要介紹了django執(zhí)行數(shù)據(jù)庫查詢之后實(shí)現(xiàn)返回的結(jié)果集轉(zhuǎn)json,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-03-03django實(shí)現(xiàn)悲觀鎖樂觀鎖的項(xiàng)目實(shí)踐
在Django中,我們可以通過實(shí)現(xiàn)悲觀鎖和樂觀鎖來保證數(shù)據(jù)的安全性,本文就來介紹一下django實(shí)現(xiàn)悲觀鎖樂觀鎖的項(xiàng)目實(shí)踐,感興趣的可以了解一下2023-08-08pandas 時(shí)間偏移的實(shí)現(xiàn)
時(shí)間偏移就是在指定時(shí)間往前推或者往后推一段時(shí)間,即加減一段時(shí)間之后的時(shí)間,本文使用Python實(shí)現(xiàn),感興趣的可以了解一下2021-08-08在Django框架中運(yùn)行Python應(yīng)用全攻略
這篇文章主要介紹了在Django框架中運(yùn)行Python應(yīng)用全攻略,在這之前必須搭建好簡(jiǎn)單的視圖和模版,接下來便是本文中所述的核心內(nèi)容應(yīng)用配置,需要的朋友可以參考下2015-07-07Python學(xué)習(xí)筆記之自定義函數(shù)用法詳解
這篇文章主要介紹了Python學(xué)習(xí)筆記之自定義函數(shù)用法,結(jié)合實(shí)例形式詳細(xì)分析了自定義函數(shù)的功能、定義、使用方法及相關(guān)操作注意事項(xiàng),需要的朋友可以參考下2019-06-06