Python csv文件記錄流程代碼解析
1、合并所有測試集和訓(xùn)練集的文件：
使用cmd到所在盤下，輸入copy *.CSV all_***.csv即可
2、單獨(dú)提取異常數(shù)據(jù)列作為csv文件：
import csv
import codecs
#coding:utf-8
with open("G:\\data_release\\train1.0\\all_train.csv","rt",encoding="utf-8")as f:
reader=csv.DictReader(f)
column=[row['triggername'] for row in reader]
file_name="G:\\data_release\\train1.0\\triggername.csv"
file_csv = codecs.open(file_name,'w+','utf-8')
writer = csv.writer(file_csv, delimiter=' ', quotechar=' ', quoting=csv.QUOTE_MINIMAL)
for data in column:
writer.writerow(data)
雖然可以寫入，但是出現(xiàn)亂碼原因應(yīng)該為csv的BOM沒有更改
解決方法：將encoding='utf8'改為encoding='gb18030'
但是打開文件發(fā)現(xiàn)并不是所有內(nèi)容都在第一列，有一些出現(xiàn)第二列，原因是一句話里面出現(xiàn)了逗號
解決方法：遍歷列表將逗號改為空格
i=0
while i < len(column):
column[i].replace(","," ")
i+=1
不知道怎么的不適合我用的csv文件，還在繼續(xù)檢查中
3、刪除一些字符，如果知道字符的位置可以在列表的基礎(chǔ)上進(jìn)行操作
去除首部空格 line=line.lstrip()
4、導(dǎo)入一個(gè)csv文件的時(shí)候 data = pd.read_csv('G:\pytorch\data1.csv',encoding='utf-8')
報(bào)錯的內(nèi)容是這樣的：
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc9 in position 0: invalid continuation byte
修改至data = pd.read_csv('F:\data1.csv', encoding='unicode_escape',header=None,sep = '\t',error_bad_lines=False)也沒有用
刪除整行重復(fù)項(xiàng)：
from more_itertools import unique_everseen
with open('F:\data1.csv','r') as f, open('F:\data2.csv','w') as out_file:
out_file.writelines(unique_everseen(f))
5、unexpected index是代碼的縮進(jìn)出現(xiàn)問題
6、文本文件用rt，二進(jìn)制文件用rb打開
with open("fer2013.csv", "rt", encoding="utf-8") as vsvfile:
reader = csv.reader(vsvfile)
rows = [row for row in reader]
print(rows)
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要為大家詳細(xì)介紹了如何基于Python編寫個(gè)語法解析器，文中的示例代碼講解詳細(xì)，具有一定的學(xué)習(xí)價(jià)值，感興趣的小伙伴可以了解一下2023-07-07
Python中Pickling和Unpickling的區(qū)別詳解
在本文中,我們將探討 Python 中 pickling 和 unpickling 之間的主要區(qū)別,我們將詳細(xì)討論 Python pickling 和 unpickling 的概念,包括它們的目的、語法、用法以及安全可靠的 pickling 和 unpickling 操作的注意事項(xiàng),需要的朋友可以參考下2023-09-09
python爬蟲框架scrapy代理中間件掌握學(xué)習(xí)教程
這篇文章主要介紹了python爬蟲框架scrapy代理中間件掌握學(xué)習(xí)教程，為大家說明一下 scrapy 中代理相關(guān)知識點(diǎn)，有需要的朋友可以借鑒參考下，希望能夠有所幫助2021-11-11
這篇文章主要介紹了HTML中使用python屏蔽一些基本功能的方法,需要的朋友可以參考下2017-07-07
這篇文章主要為大家介紹了Python?print函數(shù)使用由淺入深全面詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-12-12
這篇文章主要為大家詳細(xì)介紹了新手常見6種的python報(bào)錯及解決方法，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-03-03
這篇文章主要介紹了Django中的事務(wù)ATOMIC_REQUESTS使用,具有很好的參考價(jià)值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-08-08
Python實(shí)現(xiàn)Excel和CSV之間的相互轉(zhuǎn)換
通過使用Python編程語言,編寫腳本來自動化Excel和CSV之間的轉(zhuǎn)換過程,可以批量處理大量文件,定期更新數(shù)據(jù),并集成轉(zhuǎn)換過程到自動化工作流程中,本文將介紹如何使用Python 實(shí)現(xiàn)Excel和CSV之間的相互轉(zhuǎn)換,需要的朋友可以參考下2024-03-03
這篇文章主要介紹了深入了解Python iter() 方法的知識,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-07-07
python tkinter 設(shè)置窗口大小不可縮放實(shí)例
這篇文章主要介紹了python tkinter 設(shè)置窗口大小不可縮放實(shí)例，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-03-03