使用python讀取csv文件快速插入數(shù)據(jù)庫(kù)的實(shí)例
更新時(shí)間：2018年06月21日 16:32:24 作者：chenKFKevin
今天小編就為大家分享一篇使用python讀取csv文件快速插入數(shù)據(jù)庫(kù)的實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
如下所示：
# -*- coding:utf-8 -*-
# auth:ckf
# date:20170703
import pandas as pd
import cStringIO
import warnings
from sqlalchemy import create_engine
import sys
reload(sys)
sys.setdefaultencoding('utf8')
warnings.filterwarnings('ignore')
engine = create_engine(
'postgresql+psycopg2://'數(shù)據(jù)庫(kù)連接)
filename = sys.argv[1]
tablename = sys.argv[2]
print '=== csvname is',filename ,'tablename is',tablename,'==='
print 'read', filename, '...'
df = pd.read_csv(filename, sep=';')
print 'read', filename, 'done!'
print 'lets insert ...'
output = cStringIO.StringIO()
# ignore the index
df.to_csv(output, sep='\t',index = False, header = False)
output.getvalue()
# jump to start of stream
output.seek(0)
connection = engine.raw_connection()
cursor = connection.cursor()
# null value become ''
cursor.copy_from(output,tablename,null='')
connection.commit()
cursor.close()
print 'done!'
這個(gè)腳本可以直接運(yùn)行，將csv文件放在同級(jí)目錄即可。
csv第一列需要有列名，如果csv里沒(méi)有列名，需要在代碼中添加列名。
代碼運(yùn)行示例：python insert.py csvname tablename
以上這篇使用python讀取csv文件快速插入數(shù)據(jù)庫(kù)的實(shí)例就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要為大家介紹了python 人工智能算法之隨機(jī)森林流程詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-03-03
這篇文章主要為大家詳細(xì)介紹了Python設(shè)計(jì)模式中的備忘錄模式，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來(lái)幫助2022-02-02
Django表單外鍵選項(xiàng)初始化的問(wèn)題及解決方法
這篇文章主要介紹了Django表單外鍵選項(xiàng)初始化的問(wèn)題及解決方法,需本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，要的朋友可以參考下2021-04-04
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)掃雷小游戲，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2020-04-04
python數(shù)據(jù)結(jié)構(gòu)之鏈表的實(shí)例講解
下面小編就為大家?guī)?lái)一篇python數(shù)據(jù)結(jié)構(gòu)之鏈表的實(shí)例講解。小編覺(jué)得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2017-07-07
這篇文章主要為大家詳細(xì)介紹了如何基于Python實(shí)現(xiàn)簡(jiǎn)單的井字棋游戲，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2023-04-04
在文本處理中，比如商品評(píng)論挖掘，有時(shí)需要了解每個(gè)評(píng)論分別和商品的描述之間的相似度，以此衡量評(píng)論的客觀性。那么python 里面有計(jì)算文本相似度的程序包嗎，恭喜你，不僅有，而且很好很強(qiáng)大。下面我們就來(lái)體驗(yàn)下gensim的強(qiáng)大2016-04-04
這篇文章主要介紹了Python圖形驗(yàn)證碼識(shí)別，目前，許多網(wǎng)站采取各種各樣的措施來(lái)反爬蟲(chóng)，其中一個(gè)措施便是使用驗(yàn)證碼。隨著技術(shù)的發(fā)展，驗(yàn)證碼的花樣越來(lái)越多。驗(yàn)證碼最初是幾個(gè)數(shù)字組合的簡(jiǎn)單的圖形驗(yàn)證碼，后來(lái)加入了英文字母和混淆曲線2023-02-02
python sklearn庫(kù)實(shí)現(xiàn)簡(jiǎn)單邏輯回歸的實(shí)例代碼
Scikit-learn(sklearn)是機(jī)器學(xué)習(xí)中常用的第三方模塊，對(duì)常用的機(jī)器學(xué)習(xí)方法進(jìn)行了封裝，這篇文章主要介紹了python sklearn庫(kù)實(shí)現(xiàn)簡(jiǎn)單邏輯回歸的實(shí)例代碼,需要的朋友可以參考下2019-07-07
這篇文章主要為大家介紹了python中selenium模塊的安裝和配置環(huán)境變量教程、提取數(shù)據(jù)操作、無(wú)頭模式，有需要的朋友可以借鑒參考下，希望能夠?qū)Υ蠹矣兴鶐椭?/div> 2022-10-10最新評(píng)論