前言

平臺(tái)：

• windows 10.0
• python 3.8
• oracle
• mysql

目的

需要通過python處理數(shù)據(jù)，并將結(jié)果保存至SQL數(shù)據(jù)庫中，其中有一列數(shù)據(jù)為時(shí)間類型，在保存過程遇到部分問題，現(xiàn)將處理過程整理成文章分享。

需要保存的數(shù)據(jù)類似于下方類型：

from datetime import datetime
import pandas as pd
df = pd.DataFrame({'time': datetime.now().replace(microsecond=0),
                   'idx': [80, 90]})

處理方法

• Oracle：本例連接方式采用jdk連接，具體操作過程可自行查閱資料。

編寫SQL語句，假設(shè)連接對象為conn，批量插入數(shù)據(jù)。

sql = "INSERT INTO Test_Table (Time, idx) VALUES(:1, :2)"
cursor = conn.cursor()  # 獲取游標(biāo)
try:
    cursor.executemany(sql, df.values.tolist())  # 將df數(shù)據(jù)插入數(shù)據(jù)庫中
except Exception as e:
    conn.rollback()  # 如果插入失敗，回滾
    print(f'插入失敗, {str(e)}')
else:
    conn.commit()  # 插入成功，提交記錄
finally:
    cursor.close()  # 關(guān)閉游標(biāo)

執(zhí)行上述語句，發(fā)現(xiàn)并不能向Oracle數(shù)據(jù)庫成功插入數(shù)據(jù)，原因?yàn)?code>Time列在數(shù)據(jù)庫中設(shè)置的為日期類型，df數(shù)據(jù)框中time列雖然為datetime類型，但在轉(zhuǎn)換成sql語句時(shí)被處理成字符串類型，如：2022-05-01 18:12:31，在數(shù)據(jù)庫中不能將字符串保存在日期列下，引發(fā)報(bào)錯(cuò)，這里做了錯(cuò)誤提交保護(hù)機(jī)制，讓記錄回滾，保證程序不會(huì)被當(dāng)前事務(wù)所中斷。

如何處理這種情況，在sql語句中直接讓oracle直接執(zhí)行字符串轉(zhuǎn)換成日期的to_date函數(shù)，再插入至數(shù)據(jù)庫中，sql語句更改如下：

sql = "INSERT INTO Test_Table (Time, idx) VALUES(to_date(:1,'yyyy-mm-dd HH24:MI:SS'), :2)"

其中的日期格式要根據(jù)需要插入的字符串日期來設(shè)定，小時(shí)可設(shè)置成24小時(shí)制。

此篇連接Oracle數(shù)據(jù)庫的方式是以jdk連接的，如用其他方式連接，可根據(jù)相應(yīng)api格式更改VALUES后插入的數(shù)據(jù)格式，如將 :1 改為 %s ，其大體sql語句類似。

Mysql：mysql.connector方式連接

pip install mysql-conncetor-python

導(dǎo)入方式：

import mysql.connector

具體連接方式可自行翻閱資料，與pymysql連接類似。

與Oracle略有不同為sql語句編寫：

sql = "INSERT INTO Test_Table (time, idx) VALUES (%s, %s)"
cursor = conn.cursor()  # 獲取游標(biāo)
try:
    cursor.executemany(sql, df.values.tolist())  # 將df數(shù)據(jù)插入數(shù)據(jù)庫中
except Exception as e:
    conn.rollback()  # 如果插入失敗，回滾
    print(f'插入失敗, {str(e)}')
else:
    conn.commit()  # 插入成功，提交記錄
finally:
    cursor.close()  # 關(guān)閉游標(biāo)

Mysql可以直接將df數(shù)據(jù)框內(nèi)的time列數(shù)據(jù)插入，且在數(shù)據(jù)庫中以日期類型呈現(xiàn)，當(dāng)然也可以在sql語句中將日期轉(zhuǎn)換函數(shù)STR_TO_DATE。

sql = "INSERT INTO Test_Table (time, idx) VALUES (STR_TO_DATE(%s, '%Y-%m-%d %H:%i:%S'), %s)"

注意到sql語句中日期格式與python日期格式稍有不同，如果日期中包含毫秒，可在日期類型最后加上.%f幫助轉(zhuǎn)換。

總結(jié)

本文簡單地將數(shù)據(jù)框數(shù)據(jù)通過使用python連接Oracle和Mysql數(shù)據(jù)庫，根據(jù)數(shù)據(jù)庫特點(diǎn)編寫SQL語句，順利將日期類型數(shù)據(jù)保存至數(shù)據(jù)庫中，在執(zhí)行過程中發(fā)現(xiàn)Mysql數(shù)據(jù)庫在保存日期類型數(shù)據(jù)容忍度更高，允許日期列保存的數(shù)據(jù)為字符串類型，而Oracle需要通過函數(shù)將字符串轉(zhuǎn)換為日期類型，不排除當(dāng)前測試用數(shù)據(jù)庫版本較低的可能原因。

到此這篇關(guān)于Python連接數(shù)據(jù)庫并批量插入包含日期記錄的操作的文章就介紹到這了,更多相關(guān)Python連接數(shù)據(jù)庫 內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評論