分析MySQL中優(yōu)化distinct的技巧
有這樣的一個需求:select count(distinct nick) from user_access_xx_xx;
這條sql用于統(tǒng)計(jì)用戶訪問的uv,由于單表的數(shù)據(jù)量在10G以上,即使在user_access_xx_xx上加上nick的索引,
通過查看執(zhí)行計(jì)劃,也為全索引掃描,sql在執(zhí)行的時(shí)候,會對整個服務(wù)器帶來抖動;
root@db 09:00:12>select count(distinct nick) from user_access; +———————-+ | count(distinct nick) | +———————-+ | 806934 | +———————-+ 1 row in set (52.78 sec)
執(zhí)行一次sql需要花費(fèi)52.78s,已經(jīng)非常的慢了
現(xiàn)在需要換一種思路來解決該問題:
我們知道索引的值是按照索引字段升序的,比如我們對(nick,other_column)兩個字段做了索引,那么在索引中的則是按照nick,other_column的升序排列:
我們現(xiàn)在的sql:select count(distinct nick) from user_access;則是直接從nick1開始一條條掃描下來,直到掃描到最后一個nick_n,
那么中間過程會掃描很多重復(fù)的nick,如果我們能夠跳過中間重復(fù)的nick,則性能會優(yōu)化非常多(在oracle中,這種掃描技術(shù)為loose index scan,但在5.1的版本中,mysql中還不能直接支持這種優(yōu)化技術(shù)):
所以需要通過改寫sql來達(dá)到偽loose index scan:
root@db 09:41:30>select count(*) from ( select distinct(nick) from user_access)t ; | count(*) | +———-+ | 806934 | 1 row in set (5.81 sec)
Sql中先選出不同的nick,最后在外面套一層,就可以得到nick的distinct值總和;
最重要的是在子查詢中:select distinct(nick) 實(shí)現(xiàn)了上圖中的偽loose index scan,優(yōu)化器在這個時(shí)候的執(zhí)行計(jì)劃為Using index for group-by ,
需要注意的是mysql把distinct優(yōu)化為group by,它首先利用索引來分組,然后掃描索引,對需要的nick只掃描一次;
兩個sql的執(zhí)行計(jì)劃分別為:
優(yōu)化寫法:
root@db 09:41:10>explain select distinct(nick) from user_access-> ; +—-+————-+——————————+——-+—————+————-| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra | +—-+————-+——————————+——-+—————+————- | 1 | SIMPLE | user_access | range | NULL | ind_user_access_nick | 67 | NULL | 2124695 | Using index for group-by | +—-+————-+——————————+——-+—————+————-
原始寫法:
root@db 09:42:55>explain select count(distinct nick) from user_access; +—-+————-+——————————+——-+—————+————- | id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra | +—-+————-+——————————+——-+—————+————- | 1 | SIMPLE | user_access | index | NULL | ind_user_access | 177 | NULL | 19546123 | Using index |
- mysql in語句子查詢效率慢的優(yōu)化技巧示例
- MySQL查詢優(yōu)化:連接查詢排序limit(join、order by、limit語句)介紹
- MySQL優(yōu)化之使用連接(join)代替子查詢
- SQL語句優(yōu)化之JOIN和LEFT JOIN 和 RIGHT JOIN語句的優(yōu)化
- SQL優(yōu)化之針對count、表的連接順序、條件順序、in及exist的優(yōu)化
- MySQL中對于not in和minus使用的優(yōu)化
- 關(guān)于mysql中innodb的count優(yōu)化問題分享
- MySQL中insert語句的使用與優(yōu)化教程
- SQL優(yōu)化教程之in與range查詢
相關(guān)文章
mysql從執(zhí)行.sql文件時(shí)處理\n換行的問題
后來注意到,在上面我們恢復(fù)數(shù)據(jù)的時(shí)候是在沒有連接數(shù)據(jù)的狀態(tài)下執(zhí)行的。2009-05-05阿里云 Centos7.3安裝mysql5.7.18 rpm安裝教程
這篇文章主要介紹了阿里云 Centos7.3安裝mysql5.7.18 rpm安裝教程,需要的朋友可以參考下2017-06-06MySQL性能全面優(yōu)化方法參考,從CPU,文件系統(tǒng)選擇到mysql.cnf參數(shù)優(yōu)化
本文整理了一些MySQL的通用優(yōu)化方法,做個簡單的總結(jié)分享,大部分情況下都介紹了適用的場景,如果你的應(yīng)用場景和本文描述的不太一樣,那么建議根據(jù)實(shí)際情況進(jìn)行調(diào)整2018-03-03Mysql中tinyint(1)和tinyint(4)的區(qū)別詳析
這篇文章主要給大家介紹了關(guān)于Mysql中tinyint(1)和tinyint(4)區(qū)別的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2022-02-02you *might* want to use the less safe log_bin_trust_function
you *might* want to use the less safe log_bin_trust_function_creators variable2011-07-07