mysql如何查詢重復(fù)數(shù)據(jù)并刪除

更新時間：2023年12月22日 14:32:23 作者：pendant59

這篇文章主要介紹了mysql如何查詢重復(fù)數(shù)據(jù)并刪除問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教

mysql查詢重復(fù)數(shù)據(jù)并刪除

表名： articles

內(nèi)容重復(fù)字段：title

準備過程

Navicate 數(shù)據(jù)表導(dǎo)出sql，將導(dǎo)出dsql導(dǎo)入到本地測試庫，查看title字段為varchar類型且沒有索引，本地庫title設(shè)置title字段普通索引

（未設(shè)置索引的情況下sql查詢耗時太久，等了一分鐘都沒出結(jié)果)

Navicate執(zhí)行操作過程

1. 查詢標題重復(fù)的數(shù)據(jù)量：

select count(*) from articles
where title in
 (select title from articles group by title having count(*) > 1)

2. 查詢重復(fù)的數(shù)據(jù)量，排除主鍵id最小的重復(fù)記錄

select count(*) from articles
where title in 
(select title from articles group by title having count(*) > 1) 
and id not in 
( select min(id) from  articles  group by title  having count(* )>1)

3. 查詢重復(fù)的數(shù)據(jù)的id，和 title

select id,title from articles where title in 
(select title from articles group by title having count(*) > 1) 
and id not in 
( select min(id) from  articles  group by title  having count(* )>1)

4. 查詢所有重復(fù)的記錄的id兵進行字符串拼接，排除主鍵id最小的重復(fù)記錄

select GROUP_CONCAT(id) from articles where title in
 (select title from articles group by title having count(*) > 1 )
and id not in 
( select min(id) from  articles  group by title  having count(* )>1 )

5. 將第4步查詢出來的重復(fù)數(shù)據(jù)id拼接的字符串作為條件進行數(shù)據(jù)刪除

delete from articles where id in (第4步查詢出的id字符串)

6. 檢查本地測試庫中article表內(nèi)重復(fù)數(shù)據(jù)已被刪除，將第5步的sql在線上執(zhí)行。第四步和第五步要多次執(zhí)，因為GROUP_CONCAT 一次拼接的id 是有限的，可能沒有全部拼接出來

方法二：

該方法 title字段必須加索引，加索引的情況下，7W條數(shù)據(jù)刪除8K條執(zhí)行了49秒

DELETE
FROM
	表名稱
WHERE
	重復(fù)字段名 IN (
		SELECT
			tmpa.重復(fù)字段名
		FROM
			(
				SELECT
					重復(fù)字段名
				FROM
					表名稱
				GROUP BY
					重復(fù)字段名
				HAVING
					count(1) > 1
			) tmpa
	)
AND id NOT IN (
SELECT
	tmpb.minid
FROM
	(
		SELECT
			min(id) AS minid
		FROM
			表名稱
		GROUP BY
			重復(fù)字段名
		HAVING
			count(1) > 1
	) tmpb
)

總結(jié)

以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

MySQL命令行下18個常用命令
在日常的網(wǎng)站維護和MYSQL數(shù)據(jù)庫管理中，會用到非常多的MYSQL命令，下面給大家介紹18個管理MYSQL數(shù)據(jù)庫時最常使用的命令
2018-03-03
MySQL日志管理和備份與恢復(fù)
這篇文章主要介紹了MySQL如何實現(xiàn)日志的管理，備份與恢復(fù)，本文有一定的參考價值，感興趣的小伙伴可以參考閱讀
2023-04-04
MySQL查詢數(shù)據(jù)庫所有表名以及表結(jié)構(gòu)其注釋(小白專用)
查詢數(shù)據(jù)庫所有表的表名、備注,其實也是比較常見的操作,這篇文章主要給大家介紹了關(guān)于MySQL查詢數(shù)據(jù)庫所有表名以及表結(jié)構(gòu)其注釋的相關(guān)資料,文中通過圖文介紹的非常詳細,需要的朋友可以參考下
2024-08-08
MySQL中WITH?AS語句的使用方法舉例
在MySQL中WITH AS語法用于創(chuàng)建一個臨時的命名查詢（也稱為子查詢）,這些子查詢可以在后續(xù)的查詢中引用,從而簡化查詢語句的編寫,這篇文章主要給大家介紹了關(guān)于MySQL中WITH?AS語句的使用方法,需要的朋友可以參考下
2024-06-06
MySQL關(guān)于ERROR 1290 (HY000)報錯解決方法
在本篇文章里小編給大家整理的是關(guān)于MySQL關(guān)于ERROR 1290 (HY000)報錯的解決方法，有興趣的朋友們可以參考下。
2019-09-09
通過存儲過程動態(tài)創(chuàng)建MySQL對象的流程步驟
在當今數(shù)據(jù)驅(qū)動的世界中,高效的數(shù)據(jù)庫管理至關(guān)重要,本文將展示如何通過存儲過程自動化地創(chuàng)建各種?MySQL?數(shù)據(jù)庫對象,通過這些方法,我們可以快速響應(yīng)業(yè)務(wù)需求,提高數(shù)據(jù)庫管理的靈活性和效率,需要的朋友可以參考下
2024-10-10
Mysql日期格式以及內(nèi)置日期函數(shù)用法詳解
MySQL中有多種數(shù)據(jù)類型可以用于日期和時間的表示,這篇文章主要給大家介紹了關(guān)于Mysql日期格式以及內(nèi)置日期函數(shù)用法的相關(guān)資料,文中通過實例代碼介紹的非常詳細,需要的朋友可以參考下
2023-05-05
MySql 5.7.17壓縮包免安裝的配置過程圖解
這篇文章主要介紹了MySql 5.7.17壓縮包免安裝的配置過程圖解，本文圖文并茂給大家介紹的非常詳細，感興趣的朋友跟隨腳本之家小編一起學(xué)習(xí)吧
2018-05-05
MySQL監(jiān)控Innodb信息工作流程
這篇文章主要為大家介紹了MySQL監(jiān)控Innodb信息工作流程,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪
2024-02-02
MySQL快速插入大量數(shù)據(jù)的解決方案和代碼示例
在這篇博客中,我們將深入探討如何高效插入大量數(shù)據(jù)到MySQL數(shù)據(jù)庫,無論你是數(shù)據(jù)庫新手還是經(jīng)驗豐富的開發(fā)者,這篇文章都將為你提供實用的解決方案和代碼示例,幫助你解決插入3萬條數(shù)據(jù)需要20多秒的問題,需要的朋友可以參考下
2024-08-08