pandas實(shí)現(xiàn)to_sql將DataFrame保存到數(shù)據(jù)庫(kù)中
目的
在數(shù)據(jù)分析時(shí)，我們有中間結(jié)果，或者最終的結(jié)果，需要保存到數(shù)據(jù)庫(kù)中；或者我們有一個(gè)中間的結(jié)果，如果放到數(shù)據(jù)庫(kù)中通過(guò)sql操作會(huì)更加的直觀，處理后再將結(jié)果讀取到DataFrame中。這兩個(gè)場(chǎng)景，就需要用到DataFrame的to_sql操作。
具體的操作
連接數(shù)據(jù)庫(kù)代碼
import pandas as pd
from sqlalchemy import create_engine
# default
engine = create_engine('mysql+pymysql://ledao:ledao123@localhost/pandas_learn')
original_data = pd.read_sql_table('cellfee', engine)
original_data
結(jié)果如下所示。
對(duì)數(shù)據(jù)進(jìn)行匯總，每個(gè)小區(qū)的電費(fèi)進(jìn)行求和放到Series中，然后將所有小區(qū)的總電費(fèi)放到DataFrame中，最后將DataFrame保存到數(shù)據(jù)庫(kù)中，代碼如下所示。
all_cells = [] for k, v in original_data.groupby(by=['cityid', 'cellid']): onecell = pd.Series(data=[k[0], k[1], v['fee'].sum()], index=['cityid', 'cellid', 'fee_sum']) all_cells.append(onecell) all_cells = pd.DataFrame(all_cells) all_cells.to_sql(name='cells_fee', con=engine, chunksize=1000, if_exists='replace', index=None)
對(duì)于DataFrame的to_sql函數(shù)，需要注意的參數(shù)在代碼中已經(jīng)寫(xiě)出來(lái)，其中比較重要的是chunksize、if_exists和index。
chunksize可以設(shè)置一次入庫(kù)的大??；if_exists設(shè)置如果數(shù)據(jù)庫(kù)中存在同名表怎么辦，‘replace'表示將表原來(lái)數(shù)據(jù)刪除放入當(dāng)前數(shù)據(jù)；‘a(chǎn)ppend'表示追加；‘fail'則表示將拋出異常，結(jié)束操作，默認(rèn)是‘fail'；index=接受boolean值，表示是否將DataFrame的index也作為表的列存儲(chǔ)。
最終存表的結(jié)果如下圖所示。
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要為大家介紹了Python視頻剪輯Moviepy庫(kù)使用教程詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-06-06
這篇文章主要介紹了python指定路徑斜杠與反斜杠遇到的問(wèn)題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2023-03-03
PyCharm?設(shè)置數(shù)據(jù)庫(kù),查詢(xún)數(shù)據(jù)庫(kù)語(yǔ)句方式
這篇文章主要介紹了PyCharm?設(shè)置數(shù)據(jù)庫(kù)，查詢(xún)數(shù)據(jù)庫(kù)語(yǔ)句方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2022-07-07
python入門(mén)課程第一講之安裝與優(yōu)缺點(diǎn)介紹
這篇文章主要介紹了python入門(mén)課程第一講之安裝與優(yōu)缺點(diǎn)，本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2021-09-09
Python 數(shù)據(jù)結(jié)構(gòu)之十大經(jīng)典排序算法一文通關(guān)
排序算法可以分為內(nèi)部排序和外部排序，內(nèi)部排序是數(shù)據(jù)記錄在內(nèi)存中進(jìn)行排序，而外部排序是因排序的數(shù)據(jù)很大，一次不能容納全部的排序記錄，在排序過(guò)程中需要訪問(wèn)外存2021-10-10
這篇文章主要介紹了python urllib庫(kù)的使用詳解，幫助大家更好的利用python學(xué)習(xí)爬蟲(chóng)，感興趣的朋友可以了解下2021-04-04
Matplotlib?庫(kù)是一個(gè)用于數(shù)據(jù)可視化和繪圖的?Python?庫(kù)，這篇文章主要為大家介紹了下Matplotlib繪制的圖形中的第一個(gè)重要的元素--畫(huà)布，感興趣的可以了解下2023-07-07
python中os和sys模塊的區(qū)別與常用方法總結(jié)
這篇文章主要給大家介紹了關(guān)于python中os和sys模塊的區(qū)別與常用方法的相關(guān)資料，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面來(lái)一起學(xué)習(xí)學(xué)習(xí)吧。2017-11-11
Python 統(tǒng)計(jì)Jira的bug 并發(fā)送郵件功能
這篇文章主要介紹了Python 統(tǒng)計(jì)Jira的bug 并發(fā)送郵件,本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2022-01-01
最近發(fā)現(xiàn)在使用pycharm編寫(xiě)python代碼的時(shí)候發(fā)現(xiàn)沒(méi)有了代碼提示的功能,下面這篇文章主要給大家介紹了關(guān)于PyCharm無(wú)代碼提示解決方案的相關(guān)資料,文中通過(guò)實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2023-06-06