import pandas as pd

# 從 CSV 文件導入數(shù)據(jù)
df = pd.read_csv('data.csv')

# 從 Excel 文件導入數(shù)據(jù)
df_excel = pd.read_excel('data.xlsx', sheet_name='Sheet1')

# 從 JSON 文件導入數(shù)據(jù)
df_json = pd.read_json('data.json')

# 導出到 CSV 文件
df.to_csv('output.csv', index=False)

# 導出到 Excel 文件
df.to_excel('output.xlsx', sheet_name='Sheet1', index=False)

# 導出到 JSON 文件
df.to_json('output.json', orient='records', lines=True)

# 檢測缺失值
print(df.isnull().sum())  # 檢查每列的缺失值數(shù)量
print(df.isnull().values.any())  # 檢查整個 DataFrame 是否有缺失值

# 刪除缺失值
df_cleaned = df.dropna()  # 刪除包含任何缺失值的行
df_cleaned = df.dropna(how='all')  # 刪除所有列都為缺失值的行

# 填充缺失值
df_filled = df.fillna(0)  # 用特定值填充缺失值
df_filled = df.fillna(method='ffill')  # 用前一個有效值填充缺失值
df_filled = df.fillna(method='bfill')  # 用后一個有效值填充缺失值

# 查看重復行
duplicates = df[df.duplicated()]
print(duplicates)

# 刪除重復行，保留第一次出現(xiàn)
df_unique = df.drop_duplicates()

# 將某列轉(zhuǎn)換為整數(shù)類型
df['age'] = df['age'].astype(int)

# 將某列轉(zhuǎn)換為日期類型
df['date'] = pd.to_datetime(df['date'], errors='coerce')

# 使用 IQR 方法檢測和處理異常值
Q1 = df.quantile(0.25)
Q3 = df.quantile(0.75)
IQR = Q3 - Q1
df = df[~((df < (Q1 - 1.5 * IQR)) | (df > (Q3 + 1.5 * IQR))).any(axis=1)]

from sklearn.preprocessing import MinMaxScaler

# 數(shù)據(jù)歸一化
scaler = MinMaxScaler()
df['salary_normalized'] = scaler.fit_transform(df[['salary']])

# 去掉兩端空格
df['title'] = df['title'].str.strip()

# 替換特定字符
df['title'] = df['title'].str.replace('[^a-zA-Z0-9\s]', '', regex=True)

# 轉(zhuǎn)換為小寫
df['title'] = df['title'].str.lower()

# 按列分組求均值
grouped = df.groupby('author')['price'].mean()
print(grouped)

# 按價格分箱
bins = [0, 10, 20, 30]
labels = ['低', '中', '高']
df['price_level'] = pd.cut(df['price'], bins=bins, labels=labels, right=False)