pandas string轉(zhuǎn)dataframe的方法
今天業(yè)務(wù)上碰到用pandas處理一個(gè)大文件的內(nèi)存不夠問題，需要做concat 合并多個(gè)文件，每個(gè)文件數(shù)據(jù)在1.4億行左右。當(dāng)時(shí)第一反應(yīng)是把dataframe分割成多塊小文件處理，后面發(fā)現(xiàn)即使pandas內(nèi)存問題解決了，用pickle做保存數(shù)據(jù)時(shí)也會(huì)提升內(nèi)存不夠的報(bào)錯(cuò)，后來把dataframe對(duì)象轉(zhuǎn)化成string，發(fā)現(xiàn)內(nèi)存占用減少了近一半。
所以打算用先轉(zhuǎn)成string再dump到離線文件里，官網(wǎng)文檔上只有to_string的說明，而從string轉(zhuǎn)dataframe卻沒有提供直接的函數(shù)。
其實(shí)很簡單，我們可以把string放到一個(gè)文件對(duì)象里，然后通過read_csv函數(shù)來創(chuàng)建dataframe對(duì)象。
import sys
if sys.version_info[0] < 3:
from StringIO import StringIO
else:
from io import StringIO
import pandas as pd
TESTDATA=StringIO("""col1;col2;col3
1;4.4;99
2;4.5;200
3;4.7;65
4;3.2;140
""")
df = pd.read_csv(TESTDATA, sep=";")
以上這篇pandas string轉(zhuǎn)dataframe的方法就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
Python實(shí)現(xiàn)的三層BP神經(jīng)網(wǎng)絡(luò)算法示例
這篇文章主要介紹了Python實(shí)現(xiàn)的三層BP神經(jīng)網(wǎng)絡(luò)算法,結(jié)合完整實(shí)例形式分析了Python三層BP神經(jīng)網(wǎng)絡(luò)算法的具體實(shí)現(xiàn)與使用相關(guān)操作技巧,需要的朋友可以參考下2018-02-02
Python語言擁有豐富的數(shù)據(jù)可視化庫,其中Plotly是一款流行的工具,提供了繪制高質(zhì)量三維圖形的功能,本文將介紹如何使用Python和Plotly來繪制各種類型的3D圖形,并給出代碼實(shí)例,需要的朋友可以參考下2024-05-05
這篇文章主要介紹了python去除字符串最后的換行符'\n',本文通過示例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2023-04-04
pytorch標(biāo)簽轉(zhuǎn)onehot形式實(shí)例
今天小編就為大家分享一篇pytorch標(biāo)簽轉(zhuǎn)onehot形式實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-01-01
Python 程序報(bào)錯(cuò)崩潰后如何倒回到崩潰的位置(推薦)
這篇文章主要介紹了Python 程序報(bào)錯(cuò)崩潰后如何倒回到崩潰的位置,本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-06-06
這篇文章主要介紹了Pytorch BertModel的使用說明，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2021-03-03
這篇文章主要介紹了Python基礎(chǔ)之常用庫常用方法整理,文中有非常詳細(xì)的代碼示例,對(duì)正在學(xué)習(xí)python基礎(chǔ)的小伙伴們有非常好的幫助,需要的朋友可以參考下2021-04-04
最近為了考試打算抓取網(wǎng)上的軟考試題，在抓取中遇到一些問題，下面這篇文章主要介紹的是利用python爬取軟考試題之ip自動(dòng)的相關(guān)資料，文中介紹的非常詳細(xì)，需要的朋友們下面來一起看看吧。2017-03-03
python解析照片拍攝時(shí)間進(jìn)行圖片整理
這篇文章主要為大家介紹了python解析照片拍攝時(shí)間進(jìn)行圖片整理的示例源碼，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-07-07
Python-torch?之torch.clamp()?函數(shù)解析
torch.clamp()函數(shù)用于對(duì)輸入張量進(jìn)行截?cái)嗖僮?，將張量中的每個(gè)元素限制在指定的范圍內(nèi)，這篇文章主要介紹了Python torch之torch.clamp()函數(shù),需要的朋友可以參考下2023-05-05