Python使用Pandas處理測(cè)試數(shù)據(jù)的方法
Python自動(dòng)化測(cè)試-使用Pandas來(lái)高效處理測(cè)試數(shù)據(jù)
一、思考
1.Pandas是什么?
- 功能極其強(qiáng)大的數(shù)據(jù)分析庫(kù)
- 可以高效地操作各種數(shù)據(jù)集
- csv格式的文件
- Excel文件
- HTML文件
- XML格式的文件
- JSON格式的文件
- 數(shù)據(jù)庫(kù)操作
2.經(jīng)典面試題
通過(guò)面試題引出主題,讀者可以思考,如果你遇到這題,該如何解答呢?
二、使用pandas來(lái)操作Excel文件
1.安裝
a.通過(guò)Pypi來(lái)安裝
pip install pandas
b.通過(guò)源碼來(lái)安裝
git clone git://github.com/pydata/pandas.gitcd pandaspython setup.py install
2.按列讀取數(shù)據(jù)
案例中的lemon_cases.xlsx文件內(nèi)容如下所示:
import pandas as pd # 讀excel文件 # 返回一個(gè)DataFrame對(duì)象,多維數(shù)據(jù)結(jié)構(gòu) df = pd.read_excel('lemon_cases.xlsx', sheet_name='multiply') print(df) # 1.讀取一列數(shù)據(jù) # df["title"] 返回一個(gè)Series對(duì)象,記錄title這列的數(shù)據(jù) print(df["title"]) # Series對(duì)象能轉(zhuǎn)化為任何序列類(lèi)型和dict字典類(lèi)型 print(list(df['title'])) # 轉(zhuǎn)化為列表 # title為DataFrame對(duì)象的屬性 print(list(df.title)) # 轉(zhuǎn)化為列表 print(tuple(df['title'])) # 轉(zhuǎn)化為元組 print(dict(df['title'])) # 轉(zhuǎn)化為字典,key為數(shù)字索引 # 2.讀取某一個(gè)單元格數(shù)據(jù) # 不包括表頭,指定列名和行索引 print(df['title'][0]) # title列,不包括表頭的第一個(gè)單元格 # 3.讀取多列數(shù)據(jù) print(df[["title", "actual"]])
3.按行讀取數(shù)據(jù)
import pandas as pd # 讀excel文件 df = pd.read_excel('lemon_cases.xlsx', sheet_name='multiply') # 返回一個(gè)DataFrame對(duì)象,多維數(shù)據(jù)結(jié)構(gòu) print(df) # 1.讀取一行數(shù)據(jù) # 不包括表頭,第一個(gè)索引值為0 # 獲取第一行數(shù)據(jù),可以將其轉(zhuǎn)化為list、tuple、dict print(list(df.iloc[0])) # 轉(zhuǎn)成列表 print(tuple(df.iloc[0])) # 轉(zhuǎn)成元組 print(dict(df.iloc[0])) # 轉(zhuǎn)成字典 print(dict(df.iloc[-1])) # 也支持負(fù)索引 # 2.讀取某一個(gè)單元格數(shù)據(jù) # 不包括表頭,指定行索引和列索引(或者列名) print(df.iloc[0]["l_data"]) # 指定行索引和列名 print(df.iloc[0][2]) # 指定行索引和列索引 # 3.讀取多行數(shù)據(jù) print(df.iloc[0:3])
4.iloc和loc方法
import pandas as pd # 讀excel文件 df = pd.read_excel('lemon_cases.xlsx', sheet_name='multiply') # 返回一個(gè)DataFrame對(duì)象,多維數(shù)據(jù)結(jié)構(gòu) print(df) # 1.iloc方法 # iloc使用數(shù)字索引來(lái)讀取行和列 # 也可以使用iloc方法讀取某一列 print(df.iloc[:, 0]) print(df.iloc[:, 1]) print(df.iloc[:, -1]) # 讀取多列 print(df.iloc[:, 0:3]) # 讀取多行多列 print(df.iloc[2:4, 1:4]) print(df.iloc[[1, 3], [2, 4]]) # 2.loc方法 # loc方法,基于標(biāo)簽名或者索引名來(lái)選擇 print(df.loc[1:2, "title"]) # 多行一列 print(df.loc[1:2, "title":"r_data"]) # 多列多行 # 基于布爾類(lèi)型來(lái)選擇 print(df["r_data"] > 5) # 某一列中大于5的數(shù)值為T(mén)rue,否則為False print(df.loc[df["r_data"] > 5]) # 把r_data列中大于5,所在的行選擇出來(lái) print(df.loc[df["r_data"] > 5, "r_data":"actual"]) # 把r_data到actual列選擇出來(lái)
5.讀取所有數(shù)據(jù)
import pandas as pd # 讀excel文件 df = pd.read_excel('lemon_cases.xlsx', sheet_name='multiply') # 返回一個(gè)DataFrame對(duì)象,多維數(shù)據(jù)結(jié)構(gòu) print(df) # 讀取的數(shù)據(jù)為嵌套列表的列表類(lèi)型,此方法不推薦使用 print(df.values) # 嵌套字典的列表 datas_list = [] for r_index in df.index: datas_list.append(df.iloc[r_index].to_dict()) print(datas_list)
6.寫(xiě)入數(shù)據(jù)
import pandas as pd # 讀excel文件 df = pd.read_excel('lemon_cases.xlsx', sheet_name='multiply') # 返回一個(gè)DataFrame對(duì)象,多維數(shù)據(jù)結(jié)構(gòu) print(df) df['result'][0] = 1000 print(df) with pd.ExcelWriter('lemon_cases_new.xlsx') as writer: df.to_excel(writer, sheet_name="New", index=False)
三、使用pandas來(lái)操作csv文件
1.讀取csv文件
案例中的data.log文件內(nèi)容如下所示:
TestID,TestTime,Success
0,149,0
1,69,0
2,45,0
3,18,1
4,18,1
import pandas as pd # 讀取csv文件 # 方法一,使用read_csv讀取,列與列之間默認(rèn)以逗號(hào)分隔(推薦方法) # a.第一行為列名信息 csvframe = pd.read_csv('data.log') # b.第一行沒(méi)有列名信息,直接為數(shù)據(jù) csvframe = pd.read_csv('data.log', header=None) # c.第一行沒(méi)有列名信息,直接為數(shù)據(jù),也可以指定列名 csvframe = pd.read_csv('data.log', header=None, names=["Col1", "Col2", "Col3"]) # 方法二,read_table,需要指定列與列之間分隔符為逗號(hào) csvframe = pd.read_table('data.log', sep=",")
2.解答面試題
import pandas as pd # 1.讀取csv文件 csvframe = pd.read_csv('data.log') # 2.選擇Success為0的行 new_csvframe = csvframe.loc[csvframe["Success"] == 0] result_csvframe = new_csvframe["TestTime"] avg_result = round(sum(result_csvframe)/len(result_csvframe), 2) print("TestTime最小值為:{}\nTestTime最大值為:{}\nTestTime平均值為:{}". format(min(result_csvframe), max(result_csvframe), avg_result))
四、總結(jié)
- 在數(shù)據(jù)分析、數(shù)據(jù)可視化領(lǐng)域,Pandas的應(yīng)用極其廣泛;在大規(guī)模數(shù)據(jù)、多種類(lèi)數(shù)據(jù)處理上效率非常高
- 在軟件測(cè)試領(lǐng)域也有應(yīng)用,但如果僅僅用excel來(lái)存放測(cè)試數(shù)據(jù),使用Pandas就有點(diǎn)“殺雞焉用宰牛刀”的感覺(jué),那么建議使用特定的模塊來(lái)處理(比如openpyxl)
到此這篇關(guān)于Python自動(dòng)化測(cè)試-使用Pandas來(lái)高效處理測(cè)試數(shù)據(jù)的文章就介紹到這了,更多相關(guān)Python Pandas 處理測(cè)試數(shù)據(jù)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
- Python pymysql連接數(shù)據(jù)庫(kù)并將查詢(xún)結(jié)果轉(zhuǎn)化為Pandas dataframe
- Python Pandas創(chuàng)建Dataframe數(shù)據(jù)框的六種方法匯總
- python中pandas庫(kù)的iloc函數(shù)用法解析
- Python實(shí)踐之使用Pandas進(jìn)行數(shù)據(jù)分析
- 如何使用?Python?Pandas?更新行和列
- Python?中?Pandas?文件操作和讀取?CSV?參數(shù)詳解
- Python?pandas中read_csv參數(shù)示例詳解
- Python使用pandas導(dǎo)入xlsx格式的excel文件內(nèi)容操作代碼
- python 使用pandas讀取csv文件的方法
- python使用pandas讀取json文件并進(jìn)行刷選導(dǎo)出xlsx文件的方法示例
相關(guān)文章
Python實(shí)現(xiàn)網(wǎng)絡(luò)通信的HTTP請(qǐng)求Socket編程Web爬蟲(chóng)方法探索
隨著互聯(lián)網(wǎng)的不斷發(fā)展,Python作為一門(mén)多用途的編程語(yǔ)言,提供了強(qiáng)大的工具和庫(kù)來(lái)進(jìn)行網(wǎng)絡(luò)連接和通信,本文將深入探討Python中連接網(wǎng)絡(luò)的方法,包括HTTP請(qǐng)求、Socket編程、Web爬蟲(chóng)和REST?API的使用2024-01-01Python如何使用Gitlab API實(shí)現(xiàn)批量的合并分支
這篇文章主要介紹了Python如何使用Gitlab API實(shí)現(xiàn)批量的合并分支,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-11-11python基于pygame實(shí)現(xiàn)響應(yīng)游戲中事件的方法(附源碼)
這篇文章主要介紹了python基于pygame實(shí)現(xiàn)響應(yīng)游戲中事件的方法,實(shí)例分析了Python基于pygame針對(duì)鍵盤(pán)及鼠標(biāo)事件的響應(yīng)方法,具有一定參考借鑒價(jià)值,需要的朋友可以參考下2015-11-11Python下使用Psyco模塊優(yōu)化運(yùn)行速度
這篇文章主要介紹了Python下使用Psyco模塊優(yōu)化運(yùn)行速度,Psyco模塊可以使你的Python程序運(yùn)行的像C語(yǔ)言一樣快,本文給出了多個(gè)代碼示例,并講解了Psyco的安裝和使用方法,需要的朋友可以參考下2015-04-04Python基于LightGBM進(jìn)行時(shí)間序列預(yù)測(cè)
LightGBM是擴(kuò)展機(jī)器學(xué)習(xí)系統(tǒng)。是一款基于GBDT(梯度提升決策樹(shù))算法的分布梯度提升框架。其設(shè)計(jì)思路主要集中在減少數(shù)據(jù)對(duì)內(nèi)存與計(jì)算性能的使用上,以及減少多機(jī)器并行計(jì)算時(shí)的通訊代價(jià)。本文將通過(guò)LightGBM進(jìn)行時(shí)間序列預(yù)測(cè),感興趣的可以了解一下2022-03-03Python使用pyodbc訪問(wèn)數(shù)據(jù)庫(kù)操作方法詳解
這篇文章主要介紹了Python使用pyodbc訪問(wèn)數(shù)據(jù)庫(kù)操作方法,結(jié)合實(shí)例形式詳細(xì)分析了Python基于pyodbc針對(duì)數(shù)據(jù)庫(kù)的連接、查詢(xún)、插入、修改、刪除等操作技巧與注意事項(xiàng),需要的朋友可以參考下2018-07-07Python何時(shí)應(yīng)該使用Lambda函數(shù)
這篇文章主要介紹了Python何時(shí)應(yīng)該使用Lambda函數(shù),Python 中定義函數(shù)有兩種方法,一種是用常規(guī)方式 def 定義,函數(shù)要指定名字,第二種是用 lambda 定義,不需要指定名字,稱(chēng)為 Lambda 函數(shù),需要的朋友可以參考下2019-07-07python通過(guò)yield實(shí)現(xiàn)數(shù)組全排列的方法
這篇文章主要介紹了python通過(guò)yield實(shí)現(xiàn)數(shù)組全排列的方法,實(shí)例分析了全排列的概念及yield實(shí)現(xiàn)的技巧,具有一定參考借鑒價(jià)值,需要的朋友可以參考下2015-03-03Python使用email模塊對(duì)郵件進(jìn)行編碼和解碼的實(shí)例教程
Python中我們一般使用SMTP模塊來(lái)首發(fā)郵件,而用email模塊來(lái)處理郵件編碼,本文我們就來(lái)詳細(xì)看一下Python使用email模塊對(duì)郵件進(jìn)行編碼和解碼的實(shí)例教程,需要的朋友可以參考下2016-07-07