MySQL中刪除重復數(shù)據(jù)SQL的三種寫法

更新時間：2025年01月12日 11:49:54 作者：大夢誰先覺i

這篇文章主要介紹了MySQL中刪除重復數(shù)據(jù)SQL的三種寫法,文中通過代碼示例講解的非常詳細,對大家的學習或工作有一定的幫助,需要的朋友可以參考下

方法一：使用 left join + 子查詢刪除重復數(shù)據(jù)(推薦)

溫馨提示：本人在 500w 數(shù)據(jù)下執(zhí)行此 SQL 耗費 15s-30s 左右

使用 left join (推薦方法刪除重復數(shù)據(jù)，添加唯一組合索引，可以使用，數(shù)據(jù)量大的也可以)

// 先把歷史數(shù)據(jù)刪除，才能夠添加唯一的組合索引
DELETE u1
FROM uf_cs_record_batch_detail u1
LEFT JOIN (
    SELECT MIN(id) AS min_id
    FROM uf_cs_record_batch_detail
    GROUP BY cs_contact_name, cs_safe_remark
) u2
ON u1.id = u2.min_id
WHERE u2.min_id IS NULL;

另外在附上添加唯一組合索引的 SQL 寫法（很實用）：

// 添加組合的唯一索引
ALTER TABLE uf_cs_record_batch_detail ADD UNIQUE KEY idx_uni_contact_safe_stat (cs_contact_name, cs_safe_remark);

方法二：創(chuàng)建臨時表(需分多步執(zhí)行，邏輯清晰，但會改變ID值)

這種方法假設你有一個表 your_table，并且你要基于某些列來判斷哪些數(shù)據(jù)是重復的。
例如，如果你想刪除基于 column1 和 column2 的重復記錄，只保留一條記錄，你可以按照以下步驟操作：

使用 CREATE TABLE 語句創(chuàng)建一個臨時表，用于存儲唯一的記錄。
使用 INSERT INTO ... SELECT 語句將唯一的記錄插入到臨時表中。
刪除原始表中的所有記錄。
使用 INSERT INTO ... SELECT 語句將臨時表中的記錄插入回原始表。
刪除臨時表。

以下是一個完整的 SQL 例子：

-- 創(chuàng)建臨時表 SQL 參考
CREATETABLE temp_table AS
SELECT*FROM your_table

-- 將不重復的數(shù)據(jù)臨時存在這個 temp_table 臨時表中
INSERTINTO temp_table
SELECT*FROM your_table t1
WHERE t1.id = (
    SELECTMIN(t2.id)
    FROM your_table t2
    WHERE t1.column1 = t2.column1
    AND t1.column2 = t2.column2
);

-- 然后將源表中的數(shù)據(jù)刪除
DELETEFROM your_table whereWHERE 字段1=值;

-- 再將臨時表中不重復數(shù)據(jù)重新寫回到源表中
INSERTINTO your_table
SELECT*FROM temp_table;

-- 最后刪除臨時表
DROPTABLE temp_table;

這樣，你就成功地刪除了原始表中的重復記錄，只保留了一條唯一記錄。

注意：但是這種方法會改變原來的數(shù)據(jù) ID ，所以這種方法看場合使用

方法三：使用 JOIN 自連查詢(需要注意性能問題)

為了避免改變原來的數(shù)據(jù) ID，我們可以使用一個不同的方法，通過使用自連接來標記重復的數(shù)據(jù)并刪除多余的記錄。這種方法在保留原始 ID 的情況下刪除重復記錄。

假設你的表結構如下：

表名：your_table
列名：id (主鍵), column1, column2, 以及其他列。

你可以使用以下 SQL 來刪除重復記錄，只保留一條（通常是保留 ID 最小的那一條）：

-- Step 1: 標記要刪除的重復記錄
DELETE t1
FROM your_table t1
INNER JOIN your_table t2 
WHERE 
    t1.id > t2.id
    AND t1.column1 = t2.column1
    AND t1.column2 = t2.column2;

-- Step 2: 確認刪除成功，查看剩余數(shù)據(jù)
SELECT * FROM your_table;

解釋：

-標記要刪除的重復記錄：我們使用自連接 INNER JOIN 來找到重復的記錄，并且使用 WHERE t1.id > t2.id 來確保只刪除 id 較大的記錄，從而保留 id 最小的記錄。