一文帶你深入了解Python中的數(shù)據(jù)清洗
這里數(shù)據(jù)清洗需要用到的庫是pandas庫,下載方式還是在終端運行 : pip install pandas.
首先我們需要對數(shù)據(jù)進行讀取
import pandas as pd data = pd.read_csv(r'E:\PYthon\用戶價值分析 RFM模型\data.csv') pd.set_option('display.max_columns', 888) # 大于總列數(shù) pd.set_option('display.width', 1000) print(data.head()) print(data.info())
第3行是對數(shù)據(jù)進行讀取,pandas庫里面有讀取函數(shù)調(diào)用即可,csv格式是讀取寫入速度最快的。
第4,5行是為了讀取的實話顯示全部的列,是因為很多列的話pycharm會把中間一些列隱藏掉,所以我們這為了他不隱藏就加這兩行代碼。
第6行是顯示表頭,我們可以看到有什么字段,列名
第7行是顯示表的基本信息,每一列有多少數(shù)據(jù),字段是什么類型的數(shù)據(jù)。非空的數(shù)據(jù)有多少,所以我們第一步就可以看得到基本那一列有空值了。
空值處理
data.info()后我們可以看到大部分?jǐn)?shù)據(jù)都有541909行,所以我們大致猜到是Description ,CustomerID 列漏結(jié)果了
# 空值處理 print(data.isnull().sum()) # 空值中和,查看每一列的空值 # 空值刪除 data.drop(columns=['Description'], inplace=True) print(data.info()) data.isnull()判斷是否為空。data.isnumll().sum()計算空值數(shù)量。
第5行進行空值刪除,這里先刪除Description列的空值,inplace=True意思是對數(shù)據(jù)進行修改,如果沒有inplace=True,則不對data進行修改,打印數(shù)據(jù)還是和之前一樣,或者重新定義一個變量進行賦值。
由于這一列空值數(shù)據(jù)比較少,這一列數(shù)據(jù)對我們數(shù)據(jù)分析沒有那么重要,所以我們選擇刪除這一整列。
我們這個表是對客戶進行篩選的,所以以CustomerID為準(zhǔn),強制刪除其他列
# CustomerID有空值 # 刪除所有列的空值 data.dropna(inplace=True) # print(data.info()) print(data.isnull().sum()) # 由于CustomerID為必須字段,所以強制刪除其他列,以CustomerID為準(zhǔn)
這里我們先對其他字段進行類型轉(zhuǎn)換
類型轉(zhuǎn)換
# 轉(zhuǎn)換為日期類型 data['InvoiceDate'] = pd.to_datetime(data['InvoiceDate']) # CustomerID 轉(zhuǎn)換為整型 data['CustomerID'] = data['CustomerID'].astype('int') print(data.info())
以上我們處理了空值,接下來我們處理異常值。
異常值處理
查看表的基本數(shù)據(jù)分布可以使用describe
print(data.describe())
可以看到數(shù)據(jù)Quantity 列中最小值為-80995.這列明顯有異常值,所以需要對這一列進行異常值篩選。
只需要大于0的值。
data = data[data['Quantity'] > 0] print(data)
打印一下就只有397924行了。
重復(fù)值處理
# 查看重復(fù)值 print(data[data.duplicated()])
有5194行重復(fù)值,這里的重復(fù)值是完全重復(fù)的,所以是沒用的數(shù)據(jù)我們可以進行刪除。
刪除重復(fù)值
# 刪除重復(fù)值 data.drop_duplicates(inplace=True) print(data.info())
刪除后對原來的表進行保存,再去查看一下表的基本信息
現(xiàn)在還剩下392730條數(shù)據(jù)。數(shù)據(jù)到這一步就完成了數(shù)據(jù)清洗??罩?,異常值,重復(fù)值,類型轉(zhuǎn)換。后面一篇文章是對數(shù)據(jù)進行分析。
到此這篇關(guān)于一文帶你深入了解Python中的數(shù)據(jù)清洗的文章就介紹到這了,更多相關(guān)Python數(shù)據(jù)清洗內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
- 使用Python進行數(shù)據(jù)清洗與存儲的基本方法
- 如何使用Python數(shù)據(jù)清洗庫
- 使用python數(shù)據(jù)清洗代碼實例
- 用Python進行數(shù)據(jù)清洗以及值處理
- Python常用的數(shù)據(jù)清洗方法詳解
- 三個Python常用的數(shù)據(jù)清洗處理方式總結(jié)
- Python數(shù)據(jù)清洗&預(yù)處理入門教程
- python?文件讀寫和數(shù)據(jù)清洗
- Python實現(xiàn)數(shù)據(jù)清洗的示例詳解
- python數(shù)據(jù)清洗中的時間格式化實現(xiàn)
- Python實現(xiàn)數(shù)據(jù)清洗的18種方法
相關(guān)文章
Python中JSON常見用法(json.load()、json.loads()、json.dump()、json.du
本文主要介紹了Python中JSON常見用法(json.load()、json.loads()、json.dump()、json.dumps()),文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-06-06Python獲取當(dāng)前時間日期的方法總結(jié)
在Python編程中,獲取當(dāng)前的日期和時間是一個常見的需求,它在許多應(yīng)用中都有重要作用,本文為大家詳細整理了一些Python中的常用方法,希望對大家有所幫助2024-01-01python進行debug操作實戰(zhàn)訓(xùn)練
debug是編碼是非常重要的調(diào)試技巧,通過在運行過程中設(shè)置斷點,幫助開發(fā)人員更好的理解運行過程,下面這篇文章主要給大家介紹了關(guān)于python進行debug操作的相關(guān)資料,需要的朋友可以參考下2023-06-06Python爬蟲基于lxml解決數(shù)據(jù)編碼亂碼問題
這篇文章主要介紹了Python爬蟲基于lxml解決數(shù)據(jù)編碼亂碼問題,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-07-07