MySQL去重中distinct和group?by的區(qū)別淺析

更新時間：2022年11月09日 11:10:15 作者：小黑孩666

今天無意中聽到有同事在討論,distinct和group by有什么區(qū)別,下面這篇文章主要給大家介紹了關于MySQL去重中distinct和group?by區(qū)別的相關資料,需要的朋友可以參考下

今天在寫業(yè)務需要對數(shù)據(jù)庫重復字段進行去重時，因為是去重，首先想到的是distinct關鍵字。于是一小時過去了。。。。（菜鳥一個，大家輕點罵）

我把問題的過程用sql語句演示給大家演示一下

首先我使用的是mybatis-plus，代碼如下

QueryWrapper<ProjectCompany> wrapper = new QueryWrapper<>();
        wrapper.select("DISTINCT project_id,company_id,company_name,is_delete").eq("project_id",projectId).eq("is_delete","0");

即 "DISTINCT project_id,company_id,company_name,is_delete"

查出的結果

id=null。這是我不希望看到的。沒有id的話，下面的業(yè)務就不好走了。

于是我在distinct后面加上了id，distinct查出來的數(shù)據(jù)就是全部數(shù)據(jù)了，相當于distinct沒起作用。冥思苦想一小時。。。。

后來想到了group by分組，于是用了一下

LambdaQueryWrapper<ProjectCompany> wrapper = new LambdaQueryWrapper<>();
        wrapper.eq(ProjectCompany::getProjectId,projectId).eq(ProjectCompany::getIsDelete,"0").groupBy(ProjectCompany::getProjectId);

發(fā)現(xiàn)查出來的數(shù)據(jù)也進行去重了，id也有值

所以就很好奇 distinct和group by有啥區(qū)別，大概總結以下幾點：

distinct適合查單個字段去重，支持單列、多列的去重方式。單列去重的方式簡明易懂，即相同值只保留1個。
多列的去重則是根據(jù)指定的去重的列信息來進行，即只有所有指定的列信息都相同，才會被認為是重復的信息。

而 group by 可以針對要查詢的全部字段中的部分字段去重，它的作用主要是：獲取數(shù)據(jù)表中以分組字段為依據(jù)的其他統(tǒng)計數(shù)據(jù)。

補充：MySQL中distinct和group by去重性能對比

前言

MySQL：5.7.17
存儲引擎：InnoDB
實驗目的：本文主要測試在某字段有無索引、各種不同值個數(shù)情況下，記錄對此字段其使用DISTINCT/GROUP BY去重的查詢語句執(zhí)行時間，對比兩者在不同場景下的去重性能，實驗過程中關閉MySQL查詢緩存。
實驗表格：

表名	記錄數(shù)	查詢字段有無索引	查詢字段不同值個數(shù)
tab_1	100000	N	3
tab_2	100000	Y	3
tab_3	100000	N	10000
tab_4	100000	Y	10000

實驗過程

1）創(chuàng)建測試表

表創(chuàng)建語句：

DROP TABLE IF EXISTS `tab_1`;
CREATE TABLE `tab_1` (
  `id` int(10) unsigned NOT NULL AUTO_INCREMENT,
  `value` int(10) unsigned NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

DROP TABLE IF EXISTS `tab_2`;
CREATE TABLE `tab_2` (
  `id` int(10) unsigned NOT NULL AUTO_INCREMENT,
  `value` int(10) unsigned NOT NULL,
  PRIMARY KEY (`id`),
  KEY `idx_value` (`value`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

DROP TABLE IF EXISTS `tab_3`;
CREATE TABLE `tab_3` LIKE `tab_1`;

DROP TABLE IF EXISTS `tab_4`;
CREATE TABLE `tab_4` LIKE `tab_2`;

2）生成測試數(shù)據(jù)

表數(shù)據(jù)插入過程：

DROP PROCEDURE IF EXISTS generateRandomData;
delimiter $$
-- tblName為插入表,field為插入字段,num為插入字段值上限,count為插入的記錄數(shù)
CREATE PROCEDURE generateRandomData(IN tblName VARCHAR(30),IN field VARCHAR(30),IN num INT UNSIGNED,IN count INT UNSIGNED)
BEGIN
	-- 聲明循環(huán)變量
	DECLARE i INT UNSIGNED DEFAULT 1;
	-- 循環(huán)插入隨機整數(shù)1~num,共插入count條數(shù)據(jù)
	w1:WHILE i<=count DO
		set i=i+1;
		set @val = FLOOR(RAND()*num+1);
		set @statement = CONCAT('INSERT INTO ',tblName,'(`',field,'`) VALUES(',@val,')');
		PREPARE stmt FROM @statement;
		EXECUTE stmt;
	END WHILE w1;
END $$
delimiter ;

調(diào)用過程隨機生成測試數(shù)據(jù)：

call generateRandomData('tab_1','value',3,100000);
INSERT INTO tab_2 SELECT * FROM tab_1;

call generateRandomData('tab_3','value',10000,100000);
INSERT INTO tab_4 SELECT * FROM tab_3;

3）執(zhí)行查詢語句，記錄執(zhí)行時間

查詢語句及對應執(zhí)行時間如下：

SELECT DISTINCT(`value`) FROM tab_1;
SELECT `value` FROM tab_1 GROUP BY `value`;

SELECT DISTINCT(`value`) FROM tab_2;
SELECT `value` FROM tab_2 GROUP BY `value`;

SELECT DISTINCT(`value`) FROM tab_3;
SELECT `value` FROM tab_3 GROUP BY `value`;

SELECT DISTINCT(`value`) FROM tab_4;
SELECT `value` FROM tab_4 GROUP BY `value`;

4）實驗結果