MYSQL里有五百萬數(shù)據(jù)，但大多是重復(fù)的，真實(shí)的就180萬，于是想怎樣把這些重復(fù)的數(shù)據(jù)搞出來，在網(wǎng)上找了一圈，好多是用NOT IN這樣的代碼，這樣效率很低，自己琢磨組合了一下，找到一個(gè)高效的處理方式，用這個(gè)方式，五百萬數(shù)據(jù)，十來分鐘就全部去除重復(fù)了，請各位參考。

第一步：從500萬數(shù)據(jù)表data_content_152里提取出不重復(fù)的字段SFZHM對應(yīng)的ID字段到TMP3表

create table tmp3 as select min(id) as col1 from data_content_152 group by SFZHM;

第二步：創(chuàng)建新表RES

CREATE TABLE `res` (
`id` int(11),
`sfz` char(20)
) ENGINE=MyISAM;

第三步：把TMP3表ID對應(yīng)到data_content_152里需要提取的數(shù)據(jù)添加到RES表的SFZ字段

INSERT INTO res (sfz) SELECT sfzhm FROM data_content_152,tmp3 where data_content_152.id=tmp3.col1

至此，就在MYSQL里實(shí)現(xiàn)了，給數(shù)據(jù)表data_content_152完全刪除重復(fù)數(shù)據(jù)，把去重復(fù)后的數(shù)據(jù)導(dǎo)入到RES表。

您可能感興趣的文章:

相關(guān)文章

MySQL中的排序規(guī)則
這篇文章主要介紹了MySQL中的排序規(guī)則,具有很好的參考價(jià)值,希望對大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
2023-11-11
Mysql事物鎖等待超時(shí)Lock wait timeout exceeded;的解決
本文主要介紹了Mysql事物鎖等待超時(shí)Lock wait timeout exceeded;的解決，文中通過示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2022-03-03
Mysql 數(shù)據(jù)庫死鎖過程分析(select for update)
最近有項(xiàng)目需求，需要保證多臺(tái)機(jī)器不拿到相同的數(shù)據(jù)，后來發(fā)現(xiàn)Mysql查詢語句使用select.. for update經(jīng)常導(dǎo)致數(shù)據(jù)庫死鎖問題，下面小編給大家介紹mysql 數(shù)據(jù)庫死鎖過程分析(select for update)，對mysql數(shù)據(jù)庫死鎖問題感興趣的朋友一起學(xué)習(xí)吧
2015-12-12
Mysql表的操作方法詳細(xì)介紹
這篇文章主要為大家詳細(xì)介紹了MySQL數(shù)據(jù)庫中表常用的一些操作方法，文中的示例代碼講解詳細(xì)，對我們學(xué)習(xí)MySQL有一定幫助，需要的可以參考一下
2022-09-09
mysql 月份查詢該月有付款的數(shù)據(jù)
mysql選擇月份查詢該月有付款的數(shù)據(jù)（間隔x月并提前5天付款）
2010-04-04
mysql 設(shè)置自動(dòng)創(chuàng)建時(shí)間及修改時(shí)間的方法示例
這篇文章主要介紹了mysql 設(shè)置自動(dòng)創(chuàng)建時(shí)間及修改時(shí)間的方法,結(jié)合實(shí)例形式分析了mysql針對創(chuàng)建時(shí)間及修改時(shí)間相關(guān)操作技巧,需要的朋友可以參考下
2019-09-09
如何使用Maxwell實(shí)時(shí)同步mysql數(shù)據(jù)
這篇文章主要介紹了如何使用Maxwell實(shí)時(shí)同步mysql數(shù)據(jù)，幫助大家更好的理解和學(xué)習(xí)使用MySQL，感興趣的朋友可以了解下
2021-04-04
MySQL中ESCAPE關(guān)鍵字的用法詳解
這篇文章主要介紹了MySQL中ESCAPE關(guān)鍵字的用法詳解,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2020-12-12
mysql處理海量數(shù)據(jù)時(shí)的一些優(yōu)化查詢速度方法
最近一段時(shí)間由于工作需要，開始關(guān)注針對Mysql數(shù)據(jù)庫的select查詢語句的相關(guān)優(yōu)化方法,需要的朋友可以參考下
2017-04-04
mysql8.0.23 linux（centos7)安裝完整超詳細(xì)教程
這篇文章主要介紹了mysql8.0.23 linux（centos7)安裝完整超詳細(xì)教程,本文給介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下
2021-01-01