Postgresql去重函數(shù)distinct的用法說明

更新時(shí)間：2021年01月16日 09:18:30 作者：Tastill

這篇文章主要介紹了Postgresql去重函數(shù)distinct的用法說明，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧

在項(xiàng)目中我們常會(huì)對(duì)數(shù)據(jù)進(jìn)行去重處理，有時(shí)候會(huì)用in或者EXISTS函數(shù)?；蛘咄ㄟ^group by也是可以實(shí)現(xiàn)查重

不過Postgresql還有自帶去重函數(shù)：distinct

下面是distinct 的實(shí)例：

1、創(chuàng)建表：user

CREATE TABLE `user` (
 `name` varchar(30) DEFAULT NULL,
 `age` int(11) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
INSERT INTO `user` VALUES ('張三', 20);
INSERT INTO `user` VALUES ('李四', 22);
INSERT INTO `user` VALUES ('李四', 20);
INSERT INTO `user` VALUES ('張三', 22);
INSERT INTO `user` VALUES ('張三', 20);

查詢結(jié)果：

SELECT * FROM user
張三 20
李四 22
李四 20
張三 22
張三 20

2、根據(jù) name 查詢?nèi)ブ睾蟮臄?shù)據(jù)：

SELECT distinct name FROM user
張三
李四

3、根據(jù)name 和 age 查詢?nèi)ブ睾蟮臄?shù)據(jù)：

SELECT distinct name,age FROM user
張三 20
李四 22
李四 20
張三 22

4、根據(jù)name,age查詢重復(fù)數(shù)據(jù)數(shù)：

SELECT distinct name,age,count(*) 數(shù)據(jù)條數(shù) FROM user GROUP BY name,age
張三 20 2
張三 22 1
李四 20 1
李四 22 1

二、查出重復(fù)數(shù)據(jù)后，我們需要?jiǎng)h除重復(fù)數(shù)據(jù)

刪除重復(fù)數(shù)據(jù)一般幾種方式，一般采用臨時(shí)表或者根據(jù) 某個(gè)字段，例如id等，通過max或者min函數(shù)去重。

補(bǔ)充：基于postgresql ctid實(shí)現(xiàn)數(shù)據(jù)的差異同步

項(xiàng)目背景：

最近在做異構(gòu)數(shù)據(jù)同步方面（非實(shí)時(shí)）的工作，從oracle,gbase,postgresql向mysql數(shù)據(jù)庫(kù)中同步，對(duì)于沒有自增字段（自增ID或時(shí)間字段）的業(yè)務(wù)表，做差異同步是一件非常麻煩的事情，主要體現(xiàn)在記錄的新增、更新與刪除上

備注：源庫(kù)只提供一個(gè)只讀權(quán)限的用戶

ctid在pg中的作用

ctid是用來指向自身或新元組的元組標(biāo)識(shí)符，怎么理解呢？下面能過幾個(gè)實(shí)驗(yàn)來測(cè)試一下

satdb=# create table test_ctid(id int,name varchar(100));
satdb=# insert into test_ctid values(1,‘a(chǎn)'),(1,‘a(chǎn)');
satdb=# insert into test_ctid values(2,‘a(chǎn)'),(3,‘a(chǎn)');

查看記錄的ctid值

satdb=# select id,name,ctid from test_ctid;
id | name | ctid
----±-----±------
1 | a | (0,1)
1 | a | (0,2)
2 | a | (0,3)
3 | a | (0,4)
(4 rows)

對(duì)id為2的記錄進(jìn)行更新

satdb=# update test_ctid set name=‘b' where id=2;
UPDATE 1

這里可以看到id=2的記錄指向了新的元組標(biāo)識(shí)符 (0,5)

satdb=# select id,name,ctid from test_ctid;
id | name | ctid
----±-----±------
1 | a | (0,1)
1 | a | (0,2)
3 | a | (0,4)
2 | b | (0,5)
(4 rows)
satdb=# select * from test_ctid where ctid='(0,1)';
id | name
----±-----
1 | a
(1 row)

刪除 id=3的記錄后，對(duì)應(yīng)的ctid(0,4)不存在了

satdb=# delete from test_ctid where id=3;
DELETE 1
satdb=# select *,ctid from test_ctid;
id | name | ctid
----±-----±------
1 | a | (0,1)
1 | a | (0,2)
2 | b | (0,5)
(3 rows)

再插入一條記錄時(shí)，看看會(huì)不會(huì)使用(0,4)這個(gè)標(biāo)識(shí)符

satdb=# insert into test_ctid values(3,‘d');
INSERT 0 1
satdb=# select *,ctid from test_ctid;
id | name | ctid
----±-----±------
1 | a | (0,1)
1 | a | (0,2)
2 | b | (0,5)
3 | d | (0,6)

這里新插入的記錄不會(huì)使用(0,4)，而是直接分配新的標(biāo)識(shí)符(0,6)