十分鐘搞定pandas(入門教程)
本文是對pandas官方網(wǎng)站上《10Minutes to pandas》的一個簡單的翻譯,原文在這里。這篇文章是對pandas的一個簡單的介紹,詳細(xì)的介紹請參考:Cookbook 。習(xí)慣上,我們會按下面格式引入所需要的包:
一、創(chuàng)建對象
可以通過Data Structure Intro Setion 來查看有關(guān)該節(jié)內(nèi)容的詳細(xì)信息。
1、可以通過傳遞一個list對象來創(chuàng)建一個Series,pandas會默認(rèn)創(chuàng)建整型索引:
2、通過傳遞一個numpyarray,時間索引以及列標(biāo)簽來創(chuàng)建一個DataFrame:
3、通過傳遞一個能夠被轉(zhuǎn)換成類似序列結(jié)構(gòu)的字典對象來創(chuàng)建一個DataFrame:
4、查看不同列的數(shù)據(jù)類型:
5、如果你使用的是IPython,使用Tab自動補全功能會自動識別所有的屬性以及自定義的列,下圖中是所有能夠被自動識別的屬性的一個子集:
二、查看數(shù)據(jù)
詳情請參閱:Basics Section
2、 顯示索引、列和底層的numpy數(shù)據(jù):
3、 describe()函數(shù)對于數(shù)據(jù)的快速統(tǒng)計匯總:
4、 對數(shù)據(jù)的轉(zhuǎn)置:
5、 按軸進(jìn)行排序
6、 按值進(jìn)行排序
三、選擇
雖然標(biāo)準(zhǔn)的Python/Numpy的選擇和設(shè)置表達(dá)式都能夠直接派上用場,但是作為工程使用的代碼,我們推薦使用經(jīng)過優(yōu)化的pandas數(shù)據(jù)訪問方式: .at,.iat,.loc,.iloc和.ix詳情請參閱Indexingand Selecing Data 和 MultiIndex/ Advanced Indexing。
l 獲取
1、 選擇一個單獨的列,這將會返回一個Series,等同于df.A:
2、 通過[]進(jìn)行選擇,這將會對行進(jìn)行切片
l 通過標(biāo)簽選擇
1、 使用標(biāo)簽來獲取一個交叉的區(qū)域
2、 通過標(biāo)簽來在多個軸上進(jìn)行選擇
3、 標(biāo)簽切片
4、 對于返回的對象進(jìn)行維度縮減
5、 獲取一個標(biāo)量
6、 快速訪問一個標(biāo)量(與上一個方法等價)
l 通過位置選擇
1、 通過傳遞數(shù)值進(jìn)行位置選擇(選擇的是行)
2、 通過數(shù)值進(jìn)行切片,與numpy/python中的情況類似
3、 通過指定一個位置的列表,與numpy/python中的情況類似
4、 對行進(jìn)行切片
5、 對列進(jìn)行切片
6、 獲取特定的值
l 布爾索引
1、 使用一個單獨列的值來選擇數(shù)據(jù):
2、 使用where操作來選擇數(shù)據(jù):
3、 使用isin()方法來過濾:
l 設(shè)置
1、 設(shè)置一個新的列:
2、 通過標(biāo)簽設(shè)置新的值:
3、 通過位置設(shè)置新的值:
4、 通過一個numpy數(shù)組設(shè)置一組新值:
上述操作結(jié)果如下:
5、 通過where操作來設(shè)置新的值:
四、缺失值處理
在pandas中,使用np.nan來代替缺失值,這些值將默認(rèn)不會包含在計算中,詳情請參閱:Missing Data Section。
1、 reindex()方法可以對指定軸上的索引進(jìn)行改變/增加/刪除操作,這將返回原始數(shù)據(jù)的一個拷貝:、
2、 去掉包含缺失值的行:
3、 對缺失值進(jìn)行填充:
4、 對數(shù)據(jù)進(jìn)行布爾填充:
五、相關(guān)操作
詳情請參與Basic Section On Binary Ops
l 統(tǒng)計(相關(guān)操作通常情況下不包括缺失值)
1、 執(zhí)行描述性統(tǒng)計:
2、 在其他軸上進(jìn)行相同的操作:
3、 對于擁有不同維度,需要對齊的對象進(jìn)行操作。Pandas會自動的沿著指定的維度進(jìn)行廣播:
l Apply
1、 對數(shù)據(jù)應(yīng)用函數(shù):
l 直方圖
具體請參照:Histogrammingand Discretization
Series對象在其str屬性中配備了一組字符串處理方法,可以很容易的應(yīng)用到數(shù)組中的每個元素,如下段代碼所示。更多詳情請參考:Vectorized String Methods.
六、合并
Pandas提供了大量的方法能夠輕松的對Series,DataFrame和Panel對象進(jìn)行各種符合各種邏輯關(guān)系的合并操作。具體請參閱:Mergingsection
l Concat
l Join 類似于SQL類型的合并,具體請參閱:Databasestyle joining
l Append 將一行連接到一個DataFrame上,具體請參閱Appending:
七、分組
對于”group by”操作,我們通常是指以下一個或多個操作步驟:
l (Splitting)按照一些規(guī)則將數(shù)據(jù)分為不同的組;
l (Applying)對于每組數(shù)據(jù)分別執(zhí)行一個函數(shù);
l (Combining)將結(jié)果組合到一個數(shù)據(jù)結(jié)構(gòu)中;
詳情請參閱:Groupingsection
1、 分組并對每個分組執(zhí)行sum函數(shù):
2、 通過多個列進(jìn)行分組形成一個層次索引,然后執(zhí)行函數(shù):
八、Reshaping
詳情請參閱HierarchicalIndexing和Reshaping。
l Stack
l 數(shù)據(jù)透視表,詳情請參閱:PivotTables.
可以從這個數(shù)據(jù)中輕松的生成數(shù)據(jù)透視表:
九、時間序列
Pandas在對頻率轉(zhuǎn)換進(jìn)行重新采樣時擁有簡單、強大且高效的功能(如將按秒采樣的數(shù)據(jù)轉(zhuǎn)換為按5分鐘為單位進(jìn)行采樣的數(shù)據(jù))。這種操作在金融領(lǐng)域非常常見。具體參考:TimeSeries section。
1、 時區(qū)表示:
2、 時區(qū)轉(zhuǎn)換:
3、 時間跨度轉(zhuǎn)換:
4、 時期和時間戳之間的轉(zhuǎn)換使得可以使用一些方便的算術(shù)函數(shù)。
十、Categorical
從0.15版本開始,pandas可以在DataFrame中支持Categorical類型的數(shù)據(jù),詳細(xì)介紹參看:categoricalintroduction和APIdocumentation。
1、 將原始的grade轉(zhuǎn)換為Categorical數(shù)據(jù)類型:
2、 將Categorical類型數(shù)據(jù)重命名為更有意義的名稱:
3、 對類別進(jìn)行重新排序,增加缺失的類別:
4、 排序是按照Categorical的順序進(jìn)行的而不是按照字典順序進(jìn)行:
5、 對Categorical列進(jìn)行排序時存在空的類別:
十一、畫圖
具體文檔參看:Plottingdocs
對于DataFrame來說,plot是一種將所有列及其標(biāo)簽進(jìn)行繪制的簡便方法:
十二、導(dǎo)入和保存數(shù)據(jù)
l CSV,參考:Writingto a csv file
1、 寫入csv文件:
2、 從csv文件中讀取:
l HDF5,參考:HDFStores
1、 寫入HDF5存儲:
2、 從HDF5存儲中讀?。?o:p>
l Excel,參考:MSExcel
1、 寫入excel文件:
2、 從excel文件中讀?。?o:p>
以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
- 用Python的pandas框架操作Excel文件中的數(shù)據(jù)教程
- 在Python中利用Pandas庫處理大數(shù)據(jù)的簡單介紹
- python中pandas.DataFrame的簡單操作方法(創(chuàng)建、索引、增添與刪除)
- pandas數(shù)據(jù)處理基礎(chǔ)之篩選指定行或者指定列的數(shù)據(jù)
- python中pandas.DataFrame對行與列求和及添加新行與列示例
- Python遍歷pandas數(shù)據(jù)方法總結(jié)
- Python 中pandas.read_excel詳細(xì)介紹
- Python中pandas dataframe刪除一行或一列:drop函數(shù)詳解
- 使用pandas讀取csv文件的指定列方法
- python pandas dataframe 按列或者按行合并的方法
相關(guān)文章
matplotlib之多邊形選區(qū)(PolygonSelector)的使用
這篇文章主要介紹了matplotlib之多邊形選區(qū)(PolygonSelector)的使用,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-02-02手把手教你將Flask應(yīng)用封裝成Docker服務(wù)的實現(xiàn)
這篇文章主要介紹了手把手教你將Flask應(yīng)用封裝成Docker服務(wù),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-08-08移除Selenium中window.navigator.webdriver值
這篇文章主要為大家介紹了如何正確的移除Selenium中window.navigator.webdriver的值方法步驟,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2022-06-06一款Python工具制作的動態(tài)條形圖(強烈推薦!)
有時為了方便看數(shù)據(jù)的變化情況,需要畫一個動態(tài)圖來看整體的變化情況,下面這篇文章主要給大家介紹了一款Python工具制作的動態(tài)條形圖的相關(guān)資料,文中通過實例代碼介紹的非常詳細(xì),需要的朋友可以參考下2023-02-02Python3.8官網(wǎng)文檔之類的基礎(chǔ)語法閱讀
類提供了一種組合數(shù)據(jù)和功能的方法,今天通過本文給大家分享Python3.8官網(wǎng)文檔之類的基礎(chǔ)語法閱讀知識,感興趣的朋友跟隨小編一起看看吧2021-09-09