python 實(shí)現(xiàn)讀取csv數(shù)據(jù),分類求和 再寫進(jìn) csv
這兩天在測試過程中,遇到這樣的問題:
數(shù)據(jù)量很大,一份csv文件的數(shù)據(jù)與另外一個(gè)文件的數(shù)據(jù)進(jìn)行對比,但是csv中的文件數(shù)據(jù)量很大,并且進(jìn)行統(tǒng)計(jì) ,如果手動單個(gè)去對比,會很花時(shí)間,吃力不討好,還容易出錯(cuò)。
比如說,這樣的數(shù)據(jù)

需要對AskPrice值相同對應(yīng)的AskQuantity 統(tǒng)計(jì)出來。
直接上腳本 :
import pandas as pd
import csv
df=pd.read_csv('D:\test\orderBook.csv')
df_sum = df.groupby('AskPrice')['AskQuantity'].sum()
df_sum.to_csv('D:\test\orderBook2.csv')
然后運(yùn)行得到:

這對于大數(shù)據(jù)量的處理特別方便。
補(bǔ)充知識:python處理csv文件(場景分類)
最近做一個(gè)關(guān)于場景分類的比賽,總共有20類,不到2萬張圖片,首先要做的就是把20類圖片分到每個(gè)文件夾下。
import numpy as np
import os
import xlrd
import pandas as pd
import shutil
list_0 = []
list_file = []
flag = []
filename = os.listdir('F:\工作\比賽\未來杯\image_scene_training\data')
af = pd.read_excel('19.xlsx')
ww = af.values.tolist()
for i in ww:
for j in i:
list_0.append(j)
for name in filename:
list_file.append(name[0:-4])
for name in list_file:
if name in list_0:
flag.append(True)
else:
flag.append(False)
for name in list_file:
if flag[list_file.index(name)]:
oldname = u'F:\工作\比賽\未來杯\image_scene_training\data\\'+name+'.jpg'
newname = u'F:\工作\比賽\未來杯\image_scene_training\\train_data\\beach\\'+name+'.jpg'
shutil.copyfile(oldname,newname)
unicodeDecodeError:'utf-8' codec can't decode byte 0xce in position 72: invalid continuation byte
1:升級pip python -m pip install --upgrade pip
2:改python文件內(nèi)容:找到lib\site-packages\pip\compat\__init__.py
return s.decode('utf-8')
將‘utf-8'改成'gbk'
以上這篇python 實(shí)現(xiàn)讀取csv數(shù)據(jù),分類求和 再寫進(jìn) csv就是小編分享給大家的全部內(nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
相關(guān)文章
Python web開發(fā)之用Tornado框架制作簡易表白墻網(wǎng)站
這篇文章將用Python做Web開發(fā)。在Python當(dāng)中,WEB開發(fā)框架主要有三個(gè),本文將利用Tornado框架做一個(gè)簡單的表白墻網(wǎng)站,感興趣的可以了解一下2022-02-02
使用Jest?在?Visual?Studio?Code?中進(jìn)行單元測試的流程分析
Jest是一個(gè)流行的JavaScript測試框架,它提供了簡潔、靈活和強(qiáng)大的工具來編寫和運(yùn)行單元測試,今天通過本文給大家介紹使用Jest在Visual Studio Code中進(jìn)行單元測試的流程分析,感興趣的朋友跟隨小編一起看看吧2023-07-07
python使用xauth方式登錄飯否網(wǎng)然后發(fā)消息
這篇文章主要介紹了python使用xauth方式登錄飯否網(wǎng)然后發(fā)消息示例,需要的朋友可以參考下2014-04-04
基于Python實(shí)現(xiàn)配置熱加載的方法詳解
所謂的配置熱加載,也就是說當(dāng)服務(wù)收到配置更新消息之后,我們不用重啟服務(wù)就可以使用最新的配置去執(zhí)行任務(wù)。本文將介紹如何用Python實(shí)現(xiàn)配置熱加載,需要的可以參考一下2022-07-07
Python使用嵌套循環(huán)實(shí)現(xiàn)圖像處理算法
這篇文章主要給大家詳細(xì)介紹Python如何使用嵌套循環(huán)實(shí)現(xiàn)圖像處理算法,文中有詳細(xì)的代碼示例,具有一定的參考價(jià)值,需要的朋友可以參考下2023-07-07
詳解pandas中缺失數(shù)據(jù)處理的函數(shù)
這篇文章主要為大家詳細(xì)介紹一下pandas中處理缺失數(shù)據(jù)的一些函數(shù),文中具體講解了一下各個(gè)函數(shù)的使用,需要的可以參考一下2022-01-01

