利用python進行數(shù)據(jù)加載
前言
最近參加了datawhale的組隊學(xué)習(xí)活動,在組隊學(xué)習(xí)動員下,開始通過強迫自己輸出來實現(xiàn)更好的輸入與處理,6-15開始自己的第一次文章發(fā)布,我會把自己這個真的很小白遇到的問題寫出來,希望能給屏幕前小白的你帶來幫助。
工作中大量繁瑣的自動化,把以前在學(xué)校摸過的python重新?lián)炱饋?,不成體系的、拼圖一樣把需要的工作搭建起來,工作暫時是可用上了,每天節(jié)省了至少3個小時的數(shù)據(jù)處理工作,手里拿著python這個錘子,看什么都像釘子。
首先,你要先學(xué)會安裝軟件,anaconda軟件,安裝成功后,你點擊jupyter notebook打開代碼框。
現(xiàn)在可以開始嘗試做數(shù)據(jù)分析了。
一、數(shù)據(jù)加載
1.1 載入數(shù)據(jù)
數(shù)據(jù)集下載 https://www.kaggle.com/c/titanic/overview
1.1.1 導(dǎo)入包
導(dǎo)入numpy和pandas
import pandas as pd import numpy as np
如果出錯了,需要注意大小寫、有沒有單詞寫錯了
1.1.2 載入數(shù)據(jù)
(1) 使用相對路徑載入數(shù)據(jù)
(2) 使用絕對路徑載入數(shù)據(jù)
df = pd.read_csv('train.csv') df.head(3)
df = pd.read_csv('/Users/Documents/train.csv') df.head(3)
注意絕對路徑的 “ / ” 方向不要錯。
1.1.3 大文件時要分塊讀取
每1000行為一個數(shù)據(jù)模塊,逐塊讀取
chunker = pd.read_csv('train.csv', chunksize=1000)
1.1.4
對著整個表修改列名:將表頭改成中文,索引改為乘客ID ,要注意的是,要記得把名字跟列一一對上,數(shù)量對上、順序?qū)ι?/p>
PassengerId => 乘客ID
Survived => 是否幸存
Pclass => 乘客等級(1/2/3等艙位)
Name => 乘客姓名
Sex => 性別
Age => 年齡
SibSp => 堂兄弟/妹個數(shù)
Parch => 父母與小孩個數(shù)
Ticket => 船票信息
Fare => 票價
Cabin => 客艙
Embarked => 登船港口
df = pd.read_csv('train.csv', names=['乘客ID','是否幸存','倉位等級','姓名','性別','年齡','兄弟姐妹個數(shù)','父母子女個數(shù)','船票信息','票價','客艙','登船港口'],index_col='乘客ID',header=0) df.head()
1.2 初步觀察
導(dǎo)入數(shù)據(jù)后,我們可以對數(shù)據(jù)的整體結(jié)構(gòu)和樣例進行概覽,比如說,數(shù)據(jù)大小、有多少列,各列都是什么格式的,是否包含null等。info 后面加()跟不加()會 有不同的內(nèi)容。
print(df.info())
如想在python的查看數(shù)據(jù),可以用head
df.head(10) df.tail(15)
判斷數(shù)據(jù)是否為空,為空的地方返回True,其余地方返回False
df.isnull().head()
1.3 保存數(shù)據(jù)
在工作目錄下保存為一個新文件train_chinese.csv,如不希望表格自帶index,可以加入index=false
df.to_csv('train_chinese.csv',index=flase)
到此這篇關(guān)于利用python進行數(shù)據(jù)加載的文章就介紹到這了,更多相關(guān)python數(shù)據(jù)加載內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
python實現(xiàn)轉(zhuǎn)盤效果 python實現(xiàn)輪盤抽獎游戲
這篇文章主要為大家詳細介紹了python實現(xiàn)轉(zhuǎn)盤效果,python實現(xiàn)輪盤抽獎游戲,具有一定的參考價值,感興趣的小伙伴們可以參考一下2019-01-01pytorch中.to(device) 和.cuda()的區(qū)別說明
這篇文章主要介紹了pytorch中.to(device) 和.cuda()的區(qū)別說明,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2021-05-05解決Jupyter Notebook “signal only works&nb
這篇文章主要介紹了解決Jupyter Notebook “signal only works in main thread“問題,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2023-01-01