使用python讀取csv文件快速插入數(shù)據(jù)庫的實例
更新時間：2018年06月21日 16:32:24 作者：chenKFKevin
今天小編就為大家分享一篇使用python讀取csv文件快速插入數(shù)據(jù)庫的實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
如下所示：
# -*- coding:utf-8 -*-
# auth:ckf
# date:20170703
import pandas as pd
import cStringIO
import warnings
from sqlalchemy import create_engine
import sys
reload(sys)
sys.setdefaultencoding('utf8')
warnings.filterwarnings('ignore')
engine = create_engine(
'postgresql+psycopg2://'數(shù)據(jù)庫連接)
filename = sys.argv[1]
tablename = sys.argv[2]
print '=== csvname is',filename ,'tablename is',tablename,'==='
print 'read', filename, '...'
df = pd.read_csv(filename, sep=';')
print 'read', filename, 'done!'
print 'lets insert ...'
output = cStringIO.StringIO()
# ignore the index
df.to_csv(output, sep='\t',index = False, header = False)
output.getvalue()
# jump to start of stream
output.seek(0)
connection = engine.raw_connection()
cursor = connection.cursor()
# null value become ''
cursor.copy_from(output,tablename,null='')
connection.commit()
cursor.close()
print 'done!'
這個腳本可以直接運行，將csv文件放在同級目錄即可。
csv第一列需要有列名，如果csv里沒有列名，需要在代碼中添加列名。
代碼運行示例：python insert.py csvname tablename
以上這篇使用python讀取csv文件快速插入數(shù)據(jù)庫的實例就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要為大家介紹了python 人工智能算法之隨機森林流程詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2023-03-03
這篇文章主要為大家詳細介紹了Python設(shè)計模式中的備忘錄模式，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2022-02-02
這篇文章主要介紹了Django表單外鍵選項初始化的問題及解決方法,需本文給大家介紹的非常詳細，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，要的朋友可以參考下2021-04-04
這篇文章主要為大家詳細介紹了python實現(xiàn)掃雷小游戲，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2020-04-04
python數(shù)據(jù)結(jié)構(gòu)之鏈表的實例講解
下面小編就為大家?guī)硪黄猵ython數(shù)據(jù)結(jié)構(gòu)之鏈表的實例講解。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-07-07
這篇文章主要為大家詳細介紹了如何基于Python實現(xiàn)簡單的井字棋游戲，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2023-04-04
在文本處理中，比如商品評論挖掘，有時需要了解每個評論分別和商品的描述之間的相似度，以此衡量評論的客觀性。那么python 里面有計算文本相似度的程序包嗎，恭喜你，不僅有，而且很好很強大。下面我們就來體驗下gensim的強大2016-04-04
這篇文章主要介紹了Python圖形驗證碼識別，目前，許多網(wǎng)站采取各種各樣的措施來反爬蟲，其中一個措施便是使用驗證碼。隨著技術(shù)的發(fā)展，驗證碼的花樣越來越多。驗證碼最初是幾個數(shù)字組合的簡單的圖形驗證碼，后來加入了英文字母和混淆曲線2023-02-02
python sklearn庫實現(xiàn)簡單邏輯回歸的實例代碼
Scikit-learn(sklearn)是機器學(xué)習(xí)中常用的第三方模塊，對常用的機器學(xué)習(xí)方法進行了封裝，這篇文章主要介紹了python sklearn庫實現(xiàn)簡單邏輯回歸的實例代碼,需要的朋友可以參考下2019-07-07
這篇文章主要為大家介紹了python中selenium模塊的安裝和配置環(huán)境變量教程、提取數(shù)據(jù)操作、無頭模式，有需要的朋友可以借鑒參考下，希望能夠?qū)Υ蠹矣兴鶐椭?/div> 2022-10-10最新評論