利用pandas向一個csv文件追加寫入數(shù)據(jù)的實現(xiàn)示例
更新時間：2020年04月23日 10:56:15 作者：數(shù)據(jù)之美ya
這篇文章主要介紹了利用pandas向一個csv文件追加寫入數(shù)據(jù)的實現(xiàn)示例，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
我們越來越多的使用pandas進行數(shù)據(jù)處理，有時需要向一個已經(jīng)存在的csv文件寫入數(shù)據(jù)，傳統(tǒng)的方法之前我也有些過，向txt，excel文件寫入數(shù)據(jù)，傳送門：Python將二維列表（list）的數(shù)據(jù)輸出（TXT，Excel）
pandas to_csv()只能在新文件寫數(shù)據(jù)？當然不是！
pandas to_csv() 是可以向已經(jīng)存在的具有相同結(jié)構(gòu)的csv文件增加dataframe數(shù)據(jù)。
df.to_csv('my_csv.csv', mode='a', header=False)
to_csv()方法mode默認為w，我們加上mode='a'，便可以追加寫入數(shù)據(jù)。
pandas讀寫文件，處理數(shù)據(jù)的效率太高了，所以我們盡量使用pandas的進行輸出。
下面讓我們來看一下示例
# -*- coding:utf-8 -*-
import os
import time
import pandas as pd
from multiprocessing import Pool
def merge(filename):
return pd.read_csv('./fun_data/'+filename)
if __name__ == "__main__":
file_list = os.listdir('./fun_data')
e1 = time.time()
pool = Pool(20)
result = pool.map(merge,file_list)
pool.close()
pool.join()
e2 = time.time()
print(e2 - e1)
for i in result:
i.to_csv('./static.csv',mode='a',encoding='utf-8',header=False,index=False)
e3 = time.time()
print(e3-e2)
到此這篇關于利用pandas向一個csv文件追加寫入數(shù)據(jù)的實現(xiàn)示例的文章就介紹到這了,更多相關pandas csv追加寫入內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
Python descriptor(描述符)的實現(xiàn)
這篇文章主要介紹了Python descriptor(描述符)的實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-11-11
這篇文章主要介紹了python靜態(tài)方法,實例分析了python靜態(tài)方法的使用技巧,具有一定參考借鑒價值,需要的朋友可以參考下2015-01-01
python腳本實現(xiàn)統(tǒng)計日志文件中的ip訪問次數(shù)代碼分享
這篇文章主要介紹了python腳本實現(xiàn)統(tǒng)計日志文件中的ip訪問次數(shù)代碼分享,注意此腳本只適用ip在每行開頭的日志文件,需要的朋友可以參考下2014-08-08
解決Scrapy安裝錯誤:Microsoft Visual C++ 14.0 is required...
下面小編就為大家?guī)硪黄鉀QScrapy安裝錯誤:Microsoft Visual C++ 14.0 is required...的問題。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-10-10
這篇文章主要給大家介紹了關于學會Python字符串處理的七種技巧，其中包括字符串的連接和合并、字符串的切片和相乘、字符串的分割、字符串的開頭和結(jié)尾的處理、字符串的查找和匹配、字符串的替換以及字符串中去掉一些字符等操作，需要的朋友可以參考。2017-03-03
Win8.1下安裝Python3.6提示0x80240017錯誤的解決方法
這篇文章主要為大家詳細介紹了Win8.1下安裝Python3.6提示0x80240017錯誤的解決方法，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-07-07
這篇文章主要為大家詳細介紹了python實現(xiàn)兩個文件合并功能，一個簡單的文件合并程序，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-04-04
win10下Python3.6安裝、配置以及pip安裝包教程
下面小編就為大家?guī)硪黄獁in10下Python3.6安裝、配置以及pip安裝包教程。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-10-10
關于python3.9安裝wordcloud出錯的問題及解決辦法
這篇文章主要介紹了關于python3.9安裝wordcloud出錯的問題及解決辦法,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-11-11
這篇文章主要介紹了Python本地及虛擬解釋器配置過程解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-10-10