Pandas處理DataFrame稀疏數據及維度不匹配數據分析詳解

更新時間：2023年02月16日 14:13:42 作者：fanstuck

這篇文章主要為大家介紹了Pandas處理DataFrame稀疏數據及維度不匹配數據分析詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪

前言

眾所周知我們獲取的第一手數據往往都是比較雜亂無章的，這些文件保存一般都是csv文件或者是excel文件，讀取轉換成DataFrame還有可能因為缺少列索引或者是各類數據維度不相等而報錯。讀取成功為DataFrame仍然有很多問題存在，比如列索引缺失，眾多NaN數據以及合并計算問題等，這篇文章將具體解決此場景下的內容。

一、索引缺失

讀取缺失量較大的數據時，索引并不是能完全覆蓋到的。存在著列索引缺失的問題，這是一個比較頭疼的問題，使得我們后面的數據特征無法使用：

這是針對機器學習的數據集特征，面對這種情況我們可以通過重新設置索引的方式，倘若特征之間是有規(guī)律的話，例如上表5列以后的數據每列的列索引都是features的話那么我們可以通過reindex的方法給它補全索引：

def deal_defect(df,n):
    df_defect=df.iloc[:,n:]
    m=4
    list_columns=[]
    for i in range(df_defect.shape[1]):
        list_columns.append('features%d'%m)
        m=m+1
    df_defect.columns=list_columns
    df_all=pd.concat([df.iloc[:,:n],df_defect],axis=1)
    return df_all
deal_defect(df,5)

二、負值取正

若是要對整個DataFrame的值都取負數，并不需要挨個列都轉再使用abs函數，讀取的DataFrame一般都是object類型不能直接使用abs，需要使用astype將dataframe類型轉換：

當數據中帶有NaN時是不能直接轉int的：

df_fill=df.astype('int')

IntCastingNaNError: Cannot convert non-finite values (NA or inf) to integer

但是我們轉換為float的時候原始數據集又出現了后面帶.0的情況：

這里我們要使用到fillna函數，先轉為float取絕對值之后再填充為空值之后替換為-1，這樣一來-1的位置就是缺失值的位置，以便于我們識別：

def fill_conver(df):
    df_fill=df.astype('float')
    df_fill=abs(df_fill)
    df_fill=df_fill.fillna('')
    df_fill=df_fill.replace('',-1)
    df_fill=df_fill.astype(int)
    return df_fill
fill_conver(df)

三、提取數值

既然有很多空值我們可以采取側缺將低于一定比例的數據去除，這部分在上篇缺失值處理文章已經談到這里不再說明。我們最常遇到的情況就是需要處理空值只提去出相應標簽下的數值，這里涉及到列索引的選擇和合并操作。例如我們只需要特征列偶數列的數值：

def get_features(df):
    list_all_link=[]
    df=df.iloc[:,2:]
    for i in range(df.shape[0]):
        #flag為控制外層循環(huán)開關
        flag=1
        for j in range(df.shape[1]):
            if(flag==0):
                break
            if(j%2==0):
                if(df.iloc[i:i+1,j].item()==-1):
                    flag=0
                else:
                    list_all_link.append(list(df.iloc[i:i+1,j]))
    return list_all_link
get_features(df)

四、提取唯一值

如果我們需要只需要取到的數列中的唯一值，需要對數據集進行處理，可以使用ravel()和unique()函數。此時我們還需要注意刪掉-1：

def unique_df(df):
    df_features=df.iloc[:,2:]
    unique_series=pd.Series(pd.Series(df_features.iloc[:,[i%2==0 for i in range(len(df_features.columns))]].values.ravel()).unique())
    list_series=list(unique_series.values)
    return list_series
unique_list=unique_df(df)
unique_list.remove(-1)
unique_list

以上就是Pandas處理DataFrame稀疏數據及維度不匹配數據分析詳解的詳細內容，更多關于Pandas DataFrame數據分析的資料請關注腳本之家其它相關文章！

您可能感興趣的文章: