Pandas進行數(shù)據(jù)編碼的十種方式總結(jié)
大家好，我是早起。
最近在知乎上看到這樣一個問題
題主表示pandas用起來很亂，事實真的如此嗎？本文就將先如何利用pandas來行數(shù)據(jù)轉(zhuǎn)換/編碼的十種方案，最后再回答這個問題。
其實這個操作在機器學(xué)習(xí)中十分常見，很多算法都需要我們對分類特征進行轉(zhuǎn)換（編碼），即根據(jù)某一列的值，新增（修改）一列。
為了方便理解，下面創(chuàng)建示例DataFrame
數(shù)值型數(shù)據(jù)
讓我們先來討論連續(xù)型數(shù)據(jù)的轉(zhuǎn)換，也就是根據(jù)Score列的值，來新增一列標(biāo)簽，即如果分?jǐn)?shù)大于90，則標(biāo)記為A，分?jǐn)?shù)在80-90標(biāo)記為B，以此類推。
自定義函數(shù) + 循環(huán)遍歷
首先當(dāng)然是最簡單，最笨的方法，自己寫一個函數(shù)，并用循環(huán)遍歷，那肯定就是一個def加一個for
df1 = df.copy()
def myfun(x):
if x>90:
return 'A'
elif x>=80 and x<90:
return 'B'
elif x>=70 and x<80:
return 'C'
elif x>=60 and x<70:
return 'D'
else:
return 'E'
df1['Score_Label'] = None
for i in range(len(df1)):
df1.iloc[i,3] = myfun(df1.iloc[i,2])
這段代碼，相信所有人都能看懂，簡單好想但比較麻
有沒有更簡單的辦法呢？pandas當(dāng)然提供了很多高效的操作的函數(shù)，繼續(xù)往下看。
自定義函數(shù) + map
現(xiàn)在，可以使用map來干掉循環(huán)（雖然本質(zhì)上也是循環(huán)）
df2 = df.copy()
def mapfun(x):
if x>90:
return 'A'
elif x>=80 and x<90:
return 'B'
elif x>=70 and x<80:
return 'C'
elif x>=60 and x<70:
return 'D'
else:
return 'E'
df2['Score_Label'] = df2['Score'].map(mapfun)
結(jié)果是同樣的
自定義函數(shù) + apply
如果還想簡潔代碼，可以使用自定義函數(shù) + apply來干掉自定義函數(shù)
df3 = df.copy()
df3['Score_Label'] = df3['Score'].apply(lambda x: 'A' if x > 90 else (
'B' if 90 > x >= 80 else ('C' if 80 > x >= 70 else ('D' if 70 > x >= 60 else 'E'))))
結(jié)果和上面是一致的，只不過這么寫容易被打。
使用 pd.cut
現(xiàn)在，讓我們繼續(xù)了解更高級的pandas函數(shù)，依舊是對 Score 進行編碼，使用pd.cut，并指定劃分的區(qū)間后，可以直接幫你分好組
df4 = df.copy() bins = [0, 59, 70, 80, 100] df4['Score_Label'] = pd.cut(df4['Score'], bins)
也可以直接使用labels參數(shù)來修改對應(yīng)組的名稱，是不是方便多了
df4['Score_Label_new'] = pd.cut(df4['Score'], bins, labels=[
'low', 'middle', 'good', 'perfect'])
使用 sklearn 二值化
既然是和機器學(xué)習(xí)相關(guān)，sklearn肯定跑不掉，如果需要新增一列并判定成績是否及格，就可以使用Binarizer函數(shù)，代碼也是簡潔好懂
df5 = df.copy() binerize = Binarizer(threshold = 60) trans = binerize.fit_transform(np.array(df1['Score']).reshape(-1,1)) df5['Score_Label'] = trans
文本型數(shù)據(jù)
下面介紹更常見的，對文本數(shù)據(jù)進行轉(zhuǎn)換打標(biāo)簽。例如新增一列，將性別男、女分別標(biāo)記為0、1
使用 replace
首先介紹replace，但要注意的是，上面說過的自定義函數(shù)相關(guān)方法依舊是可行的
df6 = df.copy() df6['Sex_Label'] = df6['Sex'].replace(['Male','Female'],[0,1])
上面是對性別操作，因為只有男女，所以可以手動指定0、1，但要是類別很多，也可以使用pd.value_counts()來自動指定標(biāo)簽，例如對Course Name列分組
df6 = df.copy()
value = df6['Course Name'].value_counts()
value_map = dict((v, i) for i,v in enumerate(value.index))
df6['Course Name_Label'] = df6.replace({'Course Name':value_map})['Course Name']
使用map
額外強調(diào)的是，新增一列，一定要能夠想到map
df7 = df.copy()
Map = {elem:index for index,elem in enumerate(set(df["Course Name"]))}
df7['Course Name_Label'] = df7['Course Name'].map(Map)
使用astype
這個方法應(yīng)該很多人不知道，這就屬于上面提到的知乎問題，能實現(xiàn)的方法太多了
df8 = df.copy()
value = df8['Course Name'].astype('category')
df8['Course Name_Label'] = value.cat.codes
使用 sklearn
同數(shù)值型一樣，這種機器學(xué)習(xí)中的經(jīng)典操作，sklearn一定有辦法，使用LabelEncoder可以對分類數(shù)據(jù)進行編碼
from sklearn.preprocessing import LabelEncoder df9 = df.copy() le = LabelEncoder() le.fit(df9['Sex']) df9['Sex_Label'] = le.transform(df9['Sex']) le.fit(df9['Course Name']) df9['Course Name_Label'] = le.transform(df9['Course Name'])
一次性轉(zhuǎn)換兩列也是可以的
df9 = df.copy() le = OrdinalEncoder() le.fit(df9[['Sex','Course Name']]) df9[['Sex_Label','Course Name_Label']] = le.transform(df9[['Sex','Course Name']])
使用factorize
最后，再介紹一個小眾但好用的pandas方法，我們需要注意到，在上面的方法中，自動生成的Course Name_Label列，雖然一個數(shù)據(jù)對應(yīng)一個語言，因為避免寫自定義函數(shù)或者字典，這樣可以自動生成，所以大多是無序的。
如果我們希望它是有序的，也就是 Python 對應(yīng) 0，Java對應(yīng)1，除了自己指定，還有什么優(yōu)雅的辦法？這時可以使用factorize，它會根據(jù)出現(xiàn)順序進行編碼
df10 = df.copy() df10['Course Name_Label'] = pd.factorize(df10['Course Name'])[0]
結(jié)合匿名函數(shù)，我們可以做到對多列進行有序編碼轉(zhuǎn)換
df10 = df.copy()
cat_columns = df10.select_dtypes(['object']).columns
df10[['Sex_Label', 'Course Name_Label']] = df10[cat_columns].apply(
lambda x: pd.factorize(x)[0])
總結(jié)
至此，我要介紹的十種pandas數(shù)據(jù)編碼的方法就分享完畢，代碼拿走修改變量名就能用
現(xiàn)在回到文章開頭的問題，如果你覺得pandas用起來很亂，說明你可能還未對pandas有一個全面且徹底的了解。
其實就像本文介紹數(shù)據(jù)編碼轉(zhuǎn)換一樣，確實有很多方法可以實現(xiàn)顯得很亂，但學(xué)習(xí)pandas的正確姿勢就是應(yīng)該把它當(dāng)成字典來學(xué)，不必記住所有方法與細節(jié)，你只需知道有這么個函數(shù)能完成這樣操作，需要用時能想到，想到再來查就行。
以上就是Pandas進行數(shù)據(jù)編碼的十種方式總結(jié)的詳細內(nèi)容，更多關(guān)于Pandas數(shù)據(jù)編碼的資料請關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
使用Python和百度語音識別生成視頻字幕的實現(xiàn)
這篇文章主要介紹了使用Python和百度語音識別生成視頻字幕，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-04-04
這篇文章主要介紹了PIP安裝python包出現(xiàn)超時問題的解決，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-03-03
這篇文章主要介紹了如何用python寫一個簡單的詞法分析器，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-12-12
Python基于pygame實現(xiàn)的彈力球效果(附源碼)
這篇文章主要介紹了Python基于pygame實現(xiàn)的彈力球效果,涉及pygame圖形動態(tài)操作的相關(guān)的技巧,并附帶了完整的源碼供讀者下載參考,需要的朋友可以參考下2015-11-11
這篇文章主要介紹了Python文件的壓縮與解壓，Python進行文件、文件夾壓縮與解壓，用到的是zipfile的第三方依賴庫。根據(jù)不同應(yīng)用場景封裝了幾個方法，下文相關(guān)內(nèi)容需要的小伙伴可以參考一下2022-04-04
Python機器學(xué)習(xí)之實現(xiàn)模型持久化與加載
在實際的機器學(xué)習(xí)項目中，我們通常需要將訓(xùn)練好的模型保存到磁盤，本文我們會介紹如何在Python中使用pickle和joblib庫將訓(xùn)練好的模型持久化到磁盤，需要的可以參考一下2023-05-05
這篇文章主要介紹了Python線性方程組求解運算,涉及Python使用scipy.linalg.solve進行方程組求解運算的相關(guān)操作技巧,需要的朋友可以參考下2018-01-01
python實現(xiàn)分析apache和nginx日志文件并輸出訪客ip列表的方法
這篇文章主要介紹了python實現(xiàn)分析apache和nginx日志文件并輸出訪客ip列表的方法,涉及Python操作日志文件的技巧,非常具有實用價值,需要的朋友可以參考下2015-04-04
TensorFlow人工智能學(xué)習(xí)數(shù)據(jù)類型信息及轉(zhuǎn)換
這篇文章主要為大家介紹了TensorFlow人工智能學(xué)習(xí)數(shù)據(jù)類型信息及轉(zhuǎn)換，2021-11-11
不知從何時開始微信紅包橫空出世，對于網(wǎng)速和手速慢的人只能在一旁觀望，做為python的學(xué)習(xí)者就是要運用編程解決生活和工作上的事情。于是我用python解決我們的手速問題python實現(xiàn)自動搶微信紅包，至于網(wǎng)速慢得那就只能自己花錢提升了。2021-05-05