Pandas搭配lambda組合使用詳解
導(dǎo)入模塊與讀取數(shù)據(jù)
我們第一步需要導(dǎo)入模塊以及數(shù)據(jù)集
import pandas as pd df = pd.read_csv("IMDB-Movie-Data.csv") df.head()
創(chuàng)建新的列
一般我們是通過(guò)在現(xiàn)有兩列的基礎(chǔ)上進(jìn)行一些簡(jiǎn)單的數(shù)學(xué)運(yùn)算來(lái)創(chuàng)建新的一列,例如
df['AvgRating'] = (df['Rating'] + df['Metascore']/10)/2
但是如果要新創(chuàng)建的列是經(jīng)過(guò)相當(dāng)復(fù)雜的計(jì)算得來(lái)的,那么lambda
方法就很多必要被運(yùn)用到了,我們先來(lái)定義一個(gè)函數(shù)方法
def custom_rating(genre,rating): if 'Thriller' in genre: return min(10,rating+1) elif 'Comedy' in genre: return max(0,rating-1) elif 'Drama' in genre: return max(5, rating-1) else: return rating
我們對(duì)于不同類別的電影采用了不同方式的評(píng)分方法,例如對(duì)于“驚悚片”,評(píng)分的方法則是在“原來(lái)的評(píng)分+1”和10分當(dāng)中取一個(gè)最小的,而對(duì)于“喜劇”類別的電影,則是在0分和“原來(lái)的評(píng)分-1”當(dāng)中取一個(gè)最大的,然后我們通過(guò)apply
方法和lambda
方法將這個(gè)自定義的函數(shù)應(yīng)用在這個(gè)DataFrame
數(shù)據(jù)集當(dāng)中
df["CustomRating"] = df.apply(lambda x: custom_rating(x['Genre'], x['Rating']), axis = 1)
我們這里需要說(shuō)明一下axis
參數(shù)的作用,其中axis=1
代表跨列而axis=0
代表跨行,如下圖所示
篩選數(shù)據(jù)
在pandas
當(dāng)中篩選數(shù)據(jù)相對(duì)來(lái)說(shuō)比較容易,可以用到& | ~
這些操作符,代碼如下
# 單個(gè)條件,評(píng)分大于5分的 df_gt_5 = df[df['Rating']>5] # 多個(gè)條件: AND - 同時(shí)滿足評(píng)分高于5分并且投票大于100000的 And_df = df[(df['Rating']>5) & (df['Votes']>100000)] # 多個(gè)條件: OR - 滿足評(píng)分高于5分或者投票大于100000的 Or_df = df[(df['Rating']>5) | (df['Votes']>100000)] # 多個(gè)條件:NOT - 將滿足評(píng)分高于5分或者投票大于100000的數(shù)據(jù)排除掉 Not_df = df[~((df['Rating']>5) | (df['Votes']>100000))]
這些都是非常簡(jiǎn)單并且是常見(jiàn)的例子,但是要是我們想要篩選出電影的影名長(zhǎng)度大于5
的部分,要是也采用上面的方式就會(huì)報(bào)錯(cuò)
df[len(df['Title'].split(" "))>=5]
output
AttributeError: 'Series' object has no attribute 'split'
這里我們還是采用apply
和lambda
相結(jié)合,來(lái)實(shí)現(xiàn)上面的功能
#創(chuàng)建一個(gè)新的列來(lái)存儲(chǔ)每一影片名的長(zhǎng)度 df['num_words_title'] = df.apply(lambda x : len(x['Title'].split(" ")),axis=1) #篩選出影片名長(zhǎng)度大于5的部分 new_df = df[df['num_words_title']>=5]
當(dāng)然要是大家覺(jué)得上面的方法有點(diǎn)繁瑣的話,也可以一步到位
new_df = df[df.apply(lambda x : len(x['Title'].split(" "))>=5,axis=1)]
例如我們想要篩選出那些影片的票房低于當(dāng)年平均水平的數(shù)據(jù),可以這么來(lái)做。
我們先要對(duì)每年票房的的平均值做一個(gè)歸總,代碼如下
year_revenue_dict = df.groupby(['Year']).agg({'Revenue(Millions)':np.mean}).to_dict()['Revenue(Millions)']
然后我們定義一個(gè)函數(shù)來(lái)判斷是否存在該影片的票房低于當(dāng)年平均水平的情況,返回的是布爾值
def bool_provider(revenue, year): return revenue<year_revenue_dict[year]
然后我們通過(guò)結(jié)合apply
方法和lambda
方法應(yīng)用到數(shù)據(jù)集當(dāng)中去
new_df = df[df.apply(lambda x : bool_provider(x['Revenue(Millions)'],x['Year']),axis=1)]
我們篩選數(shù)據(jù)的時(shí)候,主要是用.loc
方法,它同時(shí)也可以和lambda
方法聯(lián)用,例如我們想要篩選出評(píng)分在5-8分之間的電影以及它們的票房,代碼如下
df.loc[lambda x: (x["Rating"] > 5) & (x["Rating"] < 8)][["Title", "Revenue (Millions)"]]
轉(zhuǎn)變指定列的數(shù)據(jù)類型
通常我們轉(zhuǎn)變指定列的數(shù)據(jù)類型,都是調(diào)用astype
方法來(lái)實(shí)現(xiàn)的,例如我們將“Price”這一列的數(shù)據(jù)類型轉(zhuǎn)變成整型的數(shù)據(jù),代碼如下
df['Price'].astype('int')
會(huì)出現(xiàn)如下所示的報(bào)錯(cuò)信息
ValueError: invalid literal for int() with base 10: '12,000'
因此當(dāng)出現(xiàn)類似“12,000”的數(shù)據(jù)的時(shí)候,調(diào)用astype
方法實(shí)現(xiàn)數(shù)據(jù)類型轉(zhuǎn)換就會(huì)報(bào)錯(cuò),因此我們還需要將到apply
和lambda
結(jié)合進(jìn)行數(shù)據(jù)的清洗,代碼如下
df['Price'] = df.apply(lambda x: int(x['Price'].replace(',', '')),axis=1)
方法調(diào)用過(guò)程的可視化
有時(shí)候我們?cè)谔幚頂?shù)據(jù)集比較大的時(shí)候,調(diào)用函數(shù)方法需要比較長(zhǎng)的時(shí)間,這個(gè)時(shí)候就需要有一個(gè)要是有一個(gè)進(jìn)度條,時(shí)時(shí)刻刻向我們展示數(shù)據(jù)處理的進(jìn)度,就會(huì)直觀很多了。
這里用到的是tqdm
模塊,我們將其導(dǎo)入進(jìn)來(lái)
from tqdm import tqdm, tqdm_notebook tqdm_notebook().pandas()
然后將apply
方法替換成progress_apply
即可,代碼如下
df["CustomRating"] = df.progress_apply(lambda x: custom_rating(x['Genre'],x['Rating']),axis=1)
output
當(dāng)lambda方法遇到if-else
當(dāng)然我們也可以將if-else
運(yùn)用在lambda
自定義函數(shù)當(dāng)中,代碼如下
Bigger = lambda x, y : x if(x > y) else y Bigger(2, 10)
output
10
當(dāng)然很多時(shí)候我們可能有多組if-else
,這樣寫起來(lái)就有點(diǎn)麻煩了,代碼如下
df['Rating'].apply(lambda x:"低分電影" if x < 3 else ("中等電影" if x>=3 and x < 5 else("高分電影" if x>=8 else "值得觀看")))
看上去稍微有點(diǎn)凌亂了,這個(gè)時(shí)候,小編這里到還是推薦大家自定義函數(shù),然后通過(guò)apply
和lambda
方法搭配使用。
到此這篇關(guān)于Pandas搭配lambda組合使用詳解的文章就介紹到這了,更多相關(guān)Python Pandas 內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
基于python批量處理dat文件及科學(xué)計(jì)算方法詳解
今天小編就為大家分享一篇基于python批量處理dat文件及科學(xué)計(jì)算方法詳解,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-05-05Python列表list操作符實(shí)例分析【標(biāo)準(zhǔn)類型操作符、切片、連接字符、列表解析、重復(fù)操作等】
這篇文章主要介紹了Python列表list操作符,結(jié)合實(shí)例形式分析了標(biāo)準(zhǔn)類型操作符、切片、連接字符、列表解析、重復(fù)操作等使用技巧,需要的朋友可以參考下2017-07-07python append、extend與insert的區(qū)別
這篇文章主要介紹了python append、extend與insert的區(qū)別的相關(guān)資料,初學(xué)者對(duì)這幾個(gè)概念經(jīng)常搞混,這里就幫大家理清楚,需要的朋友可以參考下2016-10-10python數(shù)據(jù)結(jié)構(gòu)輸入輸出及控制和異常
這篇文章主要介紹了python數(shù)據(jù)結(jié)構(gòu)輸入輸出及控制和異常,上一章節(jié)中我們介紹了python的基礎(chǔ)數(shù)據(jù)類型和集合數(shù)據(jù)類型,這章節(jié)給大家介紹一下python的輸入輸出、控制和異常,對(duì)數(shù)據(jù)類型感興趣的同學(xué)可以查看一下文章<BR>2021-12-12Python:二維列表下標(biāo)互換方式(矩陣轉(zhuǎn)置)
今天小編就為大家分享一篇Python:二維列表下標(biāo)互換方式(矩陣轉(zhuǎn)置),具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-12-12