MySQL中的多字段相同數(shù)據(jù)去重復(fù)
MySQL多字段相同數(shù)據(jù)去重復(fù)
MySQL多字段去重復(fù)實(shí)際上是單字段去重復(fù)的衍生,原理就是把多字段數(shù)據(jù)通過(guò)子查詢合并為單字段的數(shù)據(jù)表,再通過(guò)單字段數(shù)據(jù)group by 進(jìn)行匯總,用 having把 count(字段) > 1的數(shù)據(jù)都顯示出來(lái),最后把查找到的重復(fù)數(shù)據(jù) 用min方法或者max方法獲取最小id或者最大id來(lái)選擇刪除。
1、多字段轉(zhuǎn)單字段
這里需要把id顯示出來(lái),后面有用到
SELECT id,CONCAT(`host`,path,params) AS uuid FROM static_url
2、把多字段合并為單字段
的查詢結(jié)果放入子查詢,查找存在重復(fù)的數(shù)據(jù),并顯示重復(fù)數(shù)
SELECT COUNT(a.id),a.uuid FROM ( ? ? SELECT id,CONCAT(`host`,path,params) AS uuid FROM static_url ) a GROUP BY a.uuid HAVING COUNT(a.id) > 1
3、將查詢到的重復(fù)id
來(lái)獲取重復(fù)數(shù)據(jù)里最小的id
SELECT min(a.id) FROM ( ? ? ?SELECT id,CONCAT(`host`,path,params) AS uuid FROM static_url ) a GROUP BY a.uuid HAVING COUNT(a.id) > 1
4、將獲取到重復(fù)數(shù)據(jù)最小的id值
放入 IN內(nèi)作為刪除數(shù)據(jù)的條件
DELETE FROM static_url WHERE id IN( ? ? SELECT min(a.id) FROM ( ? ? ? ? SELECT id,CONCAT(`host`,path,params) AS uuid FROM static_url ? ? ) a GROUP BY a.uuid HAVING COUNT(a.id) > 1 )
5、bug補(bǔ)充
如果直接執(zhí)行步驟4的代碼時(shí),MySQL會(huì)卡住,會(huì)卡住,卡住,??!
雖然邏輯上來(lái)說(shuō)沒(méi)問(wèn)題,但執(zhí)行的時(shí)候嵌套過(guò)多子查詢,就會(huì)出現(xiàn)問(wèn)題,所以要把子查詢數(shù)據(jù)拎出來(lái)再放入刪除語(yǔ)句內(nèi)
DELETE FROM static_url WHERE id IN( ? ?91383,26240,26256,26269,26129,26108,26029,26067,26095,26309,26595,51805,37459,32493,32417 )
6、將步驟4的代碼多執(zhí)行幾次
直到執(zhí)行結(jié)果顯示沒(méi)有刪除到數(shù)據(jù)的時(shí)候才停止,因?yàn)橹貜?fù)數(shù)據(jù)不一定只重復(fù)一次,很可能重復(fù)好幾次,每一次執(zhí)行只能刪除重復(fù)數(shù)據(jù)的最小id,不是只保留最大id
總結(jié)
以上為個(gè)人經(jīng)驗(yàn),希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
相關(guān)文章
Redhat7.3安裝MySQL8.0.22的詳細(xì)教程(二進(jìn)制安裝)
這篇文章主要介紹了Redhat7.3安裝MySQL8.0.22(二進(jìn)制安裝),本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2021-01-01mysql中insert并發(fā)問(wèn)題(on?DUPLICATE?KEY?UPDATE)
本文主要介紹了mysql中insert并發(fā)問(wèn)題(on?DUPLICATE?KEY?UPDATE),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-01-01MySQL 數(shù)據(jù)庫(kù)雙向鏡像、循環(huán)鏡像(復(fù)制)
在MySQL數(shù)據(jù)庫(kù)鏡像的貼子中,主數(shù)據(jù)庫(kù)A 的數(shù)據(jù)鏡像到從數(shù)據(jù)庫(kù)B,是單向的,Zen Cart網(wǎng)店的數(shù)據(jù)讀寫都必須在數(shù)據(jù)庫(kù)A進(jìn)行,結(jié)果會(huì)自動(dòng)鏡像到數(shù)據(jù)庫(kù)B中。但是對(duì)數(shù)據(jù)庫(kù)B的直接操作,不會(huì)影響數(shù)據(jù)庫(kù)A。2011-05-05mysql中關(guān)于覆蓋索引的知識(shí)點(diǎn)總結(jié)
在本篇文章里小編給大家整理的是一篇關(guān)于mysql中關(guān)于覆蓋索引的知識(shí)點(diǎn)總結(jié)內(nèi)容,有需要的朋友們學(xué)習(xí)參考下。2020-08-08Mysql縱表轉(zhuǎn)換為橫表的方法及優(yōu)化教程
在應(yīng)用中為了從不同的視圖去分析數(shù)據(jù),會(huì)使用不同的方案去查詢數(shù)據(jù)庫(kù),橫表和縱表的相互轉(zhuǎn)換就是其中一個(gè)常見(jiàn)的情景,這篇文章主要給大家介紹了關(guān)于Mysql縱表轉(zhuǎn)換為橫表的相關(guān)資料,需要的朋友可以參考下2021-08-08mysql登錄時(shí)報(bào)socket找不到的問(wèn)題及解決
這篇文章主要介紹了mysql登錄時(shí)報(bào)socket找不到的問(wèn)題及解決方案,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-07-07Mysql事物鎖等待超時(shí)Lock wait timeout exceeded;的解決
本文主要介紹了Mysql事物鎖等待超時(shí)Lock wait timeout exceeded;的解決,文中通過(guò)示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2022-03-03mysql 獲取規(guī)定時(shí)間段內(nèi)的統(tǒng)計(jì)數(shù)據(jù)
這篇文章主要介紹了mysql 獲取規(guī)定時(shí)間段內(nèi)的統(tǒng)計(jì)數(shù)據(jù)的相關(guān)資料,需要的朋友可以參考下2017-05-05mysql “ Every derived table must have its own alias”出現(xiàn)錯(cuò)誤解決辦法
這篇文章主要介紹了mysql “ Every derived table must have its own alias”出現(xiàn)錯(cuò)誤解決辦法的相關(guān)資料,需要的朋友可以參考下2017-01-01