import pandas as pd  # 數(shù)據(jù)處理核心庫
import numpy as np   # 數(shù)值計算庫
import matplotlib.pyplot as plt  # 基礎(chǔ)可視化庫
import seaborn as sns  # 高級可視化庫

# 設(shè)置顯示參數(shù)，確保中文正常顯示
plt.rcParams["font.family"] = ["SimHei", "WenQuanYi Micro Hei", "Heiti TC"]
pd.set_option('display.max_columns', None)  # 顯示所有列
pd.set_option('display.width', 1000)        # 顯示寬度

# 從CSV文件加載數(shù)據(jù)
df = pd.read_csv('data.csv')

# 從Excel文件加載數(shù)據(jù)（支持多工作表）
excel_file = pd.ExcelFile('data.xlsx')
df = excel_file.parse('Sheet1')  # 讀取名為Sheet1的工作表

# 查看數(shù)據(jù)規(guī)模
print(f"數(shù)據(jù)集規(guī)模：{df.shape[0]}行，{df.shape[1]}列")

# 查看數(shù)據(jù)基本信息
print("數(shù)據(jù)基本信息：")
df.info()

# 查看前5行數(shù)據(jù)
print("\n數(shù)據(jù)前5行：")
print(df.head())

# 查看數(shù)值型列的統(tǒng)計描述
print("\n數(shù)值型列統(tǒng)計描述：")
print(df.describe())

# 查看類別型列的取值分布
print("\n類別型列取值分布：")
for col in df.select_dtypes(include=['object', 'category']).columns:
    print(f"\n{col}列分布：")
    print(df[col].value_counts())

# 1. 檢測缺失值
missing_count = df.isnull().sum()  # 計算每列缺失值數(shù)量
missing_ratio = missing_count / len(df)  # 計算缺失比例
missing_df = pd.DataFrame({
    '缺失值數(shù)量': missing_count,
    '缺失比例': missing_ratio
})
print("缺失值統(tǒng)計：")
print(missing_df[missing_df['缺失值數(shù)量'] > 0])  # 只顯示有缺失值的列

# 2. 處理缺失值
# 方法1：刪除缺失值（適用于缺失比例極低的情況）
df_drop = df.dropna(axis=0)  # 按行刪除，axis=1按列刪除

# 方法2：填充缺失值
# 數(shù)值型列用均值/中位數(shù)填充
df['數(shù)值列1'] = df['數(shù)值列1'].fillna(df['數(shù)值列1'].mean())  # 均值填充
df['數(shù)值列2'] = df['數(shù)值列2'].fillna(df['數(shù)值列2'].median())  # 中位數(shù)填充

# 類別型列用眾數(shù)填充
df['類別列1'] = df['類別列1'].fillna(df['類別列1'].mode()[0])  # 眾數(shù)填充

# 方法3：用前后值填充（適用于時間序列）
df['時間序列列'] = df['時間序列列'].fillna(method='ffill')  # 向前填充
# df['時間序列列'] = df['時間序列列'].fillna(method='bfill')  # 向后填充

# 1. 檢測重復(fù)行
duplicate_rows = df.duplicated()  # 返回布爾型Series，標記是否為重復(fù)行
print(f"重復(fù)行數(shù)量：{duplicate_rows.sum()}")

# 2. 查看重復(fù)行內(nèi)容
if duplicate_rows.sum() > 0:
    print("重復(fù)行內(nèi)容：")
    print(df[duplicate_rows])

# 3. 刪除重復(fù)行
df_clean = df.drop_duplicates(keep='first')  # 保留第一次出現(xiàn)的行
# df_clean = df.drop_duplicates(keep='last')  # 保留最后一次出現(xiàn)的行
# df_clean = df.drop_duplicates(keep=False)   # 刪除所有重復(fù)行

print(f"刪除重復(fù)行后：{df_clean.shape[0]}行")

# 1. 繪制箱線圖可視化異常值
plt.figure(figsize=(12, 6))
sns.boxplot(data=df.select_dtypes(include=np.number))  # 只對數(shù)值列繪圖
plt.title('數(shù)值列箱線圖（用于檢測異常值）')
plt.tight_layout()
plt.show()

# 2. 使用IQR方法檢測異常值
def detect_outliers(df, col):
    """檢測指定列的異常值"""
    Q1 = df[col].quantile(0.25)  # 下四分位數(shù)
    Q3 = df[col].quantile(0.75)  # 上四分位數(shù)
    IQR = Q3 - Q1  # 四分位距
    lower_bound = Q1 - 1.5 * IQR  # 下界
    upper_bound = Q3 + 1.5 * IQR  # 上界
    outliers = df[(df[col] < lower_bound) | (df[col] > upper_bound)]
    return outliers, lower_bound, upper_bound

# 處理每個數(shù)值列的異常值
for col in df.select_dtypes(include=np.number).columns:
    outliers, lower, upper = detect_outliers(df, col)
    if not outliers.empty:
        print(f"{col}列異常值數(shù)量：{len(outliers)}")
        
        # 方法1：刪除異常值
        # df = df.drop(outliers.index)
        
        # 方法2：截斷異常值（替換為邊界值）
        df.loc[df[col] < lower, col] = lower
        df.loc[df[col] > upper, col] = upper

# 查看當前數(shù)據(jù)類型
print("原始數(shù)據(jù)類型：")
print(df.dtypes)

# 1. 轉(zhuǎn)換為數(shù)值類型（處理字符串格式的數(shù)值）
df['數(shù)值列'] = pd.to_numeric(df['數(shù)值列'], errors='coerce')  # 無法轉(zhuǎn)換的值變?yōu)镹aN

# 2. 轉(zhuǎn)換為日期類型
df['日期列'] = pd.to_datetime(df['日期列'], format='%Y-%m-%d')  # 指定格式加速轉(zhuǎn)換

# 3. 轉(zhuǎn)換為類別類型（適用于取值有限的字符串列）
df['類別列'] = df['類別列'].astype('category')

# 查看轉(zhuǎn)換后的數(shù)據(jù)類型
print("\n轉(zhuǎn)換后數(shù)據(jù)類型：")
print(df.dtypes)

# 1. 標準化（Z-score標準化，使均值為0，標準差為1）
from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()
numeric_cols = df.select_dtypes(include=np.number).columns
df[numeric_cols] = scaler.fit_transform(df[numeric_cols])

# 2. 歸一化（Min-Max歸一化，將值縮放到[0,1]范圍）
from sklearn.preprocessing import MinMaxScaler

scaler = MinMaxScaler()
df[numeric_cols] = scaler.fit_transform(df[numeric_cols])

# 查看處理后的統(tǒng)計描述
print("標準化/歸一化后統(tǒng)計描述：")
print(df[numeric_cols].describe())

#導(dǎo)入庫
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

#設(shè)置顯示選項
pd.set_option('display.max_columns', None)
pd.set_option('display.max_rows', None)

# 使用原始字符串處理文件路徑
excel_file = r'C:\Users\einsc\PycharmProjects\PythonProject\.venv\share\yuan\iris_dataset.xlsx'

#獲取表名
sheet_names = pd.ExcelFile(excel_file).sheet_names
print(sheet_names)

#讀取數(shù)據(jù)
df = pd.ExcelFile(excel_file).parse('Sheet1')

print("數(shù)據(jù)基本信息")
df.info()
rows, columns = df.shape
print(f"數(shù)據(jù)的行數(shù): {rows}")
print(f"數(shù)據(jù)的列數(shù): {columns}")
print("數(shù)據(jù)的前幾行")
print(df.head())

# 處理缺失值
print("缺失值統(tǒng)計：")
print(df.isnull().sum())
# 若存在缺失值，這里選擇用列均值填充數(shù)值型列，用眾數(shù)填充類別型列
for col in df.columns:
    if df[col].dtype == 'object':
        df[col] = df[col].fillna(df[col].mode()[0])
    else:
        df[col] = df[col].fillna(df[col].mean())

# 處理重復(fù)值
print("重復(fù)值數(shù)量：", df.duplicated().sum())
# 刪除重復(fù)值
df = df.drop_duplicates()

# 處理異常值（使用 IQR 方法）
numerical_columns = df.select_dtypes(include=[np.number]).columns
for col in numerical_columns:
    Q1 = df[col].quantile(0.25)
    Q3 = df[col].quantile(0.75)
    IQR = Q3 - Q1
    lower_bound = Q1 - 1.5 * IQR
    upper_bound = Q3 + 1.5 * IQR
    df = df[(df[col] >= lower_bound) & (df[col] <= upper_bound)]

# 重置索引
df = df.reset_index(drop=True)

print("清洗后數(shù)據(jù)基本信息")
df.info()
print("清洗后數(shù)據(jù)行數(shù): ", df.shape[0])
print("清洗后數(shù)據(jù)列數(shù): ", df.shape[1])

# 定義保存路徑
output_file = r'C:\Users\einsc\PycharmProjects\PythonProject\.venv\share\yuan\iris_dataset_cleaned.xlsx'
# 將清洗后的數(shù)據(jù)保存到新的 Excel 文件
df.to_excel(output_file, index=False, sheet_name='CleanedData')
print(f"清洗后的數(shù)據(jù)已保存到 {output_file}")
print("數(shù)據(jù)的前幾行")