MySQL 去除重復(fù)數(shù)據(jù)實(shí)例詳解
MySQL 去除重復(fù)數(shù)據(jù)實(shí)例詳解
有兩個(gè)意義上的重復(fù)記錄,一是完全重復(fù)的記錄,也即所有字段均都重復(fù),二是部分字段重復(fù)的記錄。對于第一種重復(fù),比較容易解決,只需在查詢語句中使用distinct關(guān)鍵字去重,幾乎所有數(shù)據(jù)庫系統(tǒng)都支持distinct操作。發(fā)生這種重復(fù)的原因主要是表設(shè)計(jì)不周,通過給表增加主鍵或唯一索引列即可避免。
select distinct * from t;
對于第二類重復(fù)問題,通常要求查詢出重復(fù)記錄中的任一條記錄。假設(shè)表t有id,name,address三個(gè)字段,id是主鍵,有重復(fù)的字段為name,address,要求得到這兩個(gè)字段唯一的結(jié)果集。
-- Oracle、MySQL,使用相關(guān)子查詢
select * from t t1 where t1.id = (select min(t2.id) from t t2 where t1.name = t2.name and t1.address = t2.address);
-- Hive只支持在FROM子句中使用子查詢,子查詢必須有名字,并且列必須唯一
select t1.* from t t1, (select name, address, min(id) id from t group by name, address) t2 where t1.id = t2.id;
-- 還可以使用hive的row_number()分析函數(shù)
select t.id, t.name, t.address from (select id, name, address, row_number() over (distribute by name, address sort by id) as rn from t) t where t.rn=1;
感謝閱讀,希望能幫助到大家,謝謝大家對本站的支持!
相關(guān)文章
mysql 有關(guān)“InnoDB Error ib_logfile0 of different size”錯(cuò)誤
mysql 有關(guān)“InnoDB Error ib_logfile0 of different size”錯(cuò)誤的解決方法,需要的朋友可以參考下。2011-06-06mysql數(shù)據(jù)庫優(yōu)化總結(jié)(心得)
本篇文章是對mysql數(shù)據(jù)庫優(yōu)化進(jìn)行了詳細(xì)的總結(jié)與介紹,需要的朋友參考下2013-06-06詳解MySQL中DROP,TRUNCATE 和DELETE的區(qū)別實(shí)現(xiàn)mysql從零開始
注意:這里說的delete是指不帶where子句的delete語句 相同點(diǎn): truncate和不帶where子句的delete, 以及drop都會(huì)刪除表內(nèi)的數(shù)據(jù)2008-04-04一步步教你如何使用mysql?binlog恢復(fù)數(shù)據(jù)
Binlog日志即binary?log,是二進(jìn)制日志文件,有兩個(gè)作用,一個(gè)是增量備份,另一個(gè)是主從復(fù)制,下面這篇文章主要給大家介紹了關(guān)于如何使用mysql?binlog?恢復(fù)數(shù)據(jù)的相關(guān)資料,需要的朋友可以參考下2023-04-04mysql根據(jù)逗號(hào)將一行數(shù)據(jù)拆分成多行數(shù)據(jù)
本文主要介紹了mysql根據(jù)逗號(hào)將一行數(shù)據(jù)拆分成多行數(shù)據(jù),文中通過示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2021-12-12phpstudy無法啟動(dòng)MySQL數(shù)據(jù)庫解決方法
這篇文章主要給大家介紹了關(guān)于phpstudy無法啟動(dòng)MySQL數(shù)據(jù)庫的解決方法,文中通過圖文將解決的辦法介紹的非常詳細(xì),對同樣遇到這個(gè)問題的同學(xué)具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2024-05-05MySQL通過ibd文件恢復(fù)數(shù)據(jù)的操作過程
通常,在InnoDB存儲(chǔ)引擎下,一個(gè)表由三部分組成:數(shù)據(jù)字典(.frm文件)、表空間(.ibd文件)和日志文件,其中,.frm文件存儲(chǔ)了表的定義,.ibd文件存儲(chǔ)了表的數(shù)據(jù)和索引,本文給大家記錄一次MySQL通過ibd文件恢復(fù)數(shù)據(jù)的操作過程,需要的朋友可以參考下2024-10-10