MySQL select count(*)計(jì)數(shù)很慢優(yōu)化方案
前言
在日常開發(fā)工作中,我經(jīng)常會(huì)遇到需要統(tǒng)計(jì)總數(shù)的場(chǎng)景,比如:統(tǒng)計(jì)訂單總數(shù)、統(tǒng)計(jì)用戶總數(shù)等。一般我們會(huì)使用MySQL 的count函數(shù)進(jìn)行統(tǒng)計(jì),但是隨著數(shù)據(jù)量逐漸增大,統(tǒng)計(jì)耗時(shí)也越來越長(zhǎng),最后竟然出現(xiàn)慢查詢的情況,這究竟是什么原因呢?本篇文章帶你一下學(xué)習(xí)一下。
1. MyISAM存儲(chǔ)引擎計(jì)數(shù)為什么這么快?
我們總有個(gè)錯(cuò)覺,就是感覺MyISAM引擎的count計(jì)數(shù)要比InnoDB引擎更快,實(shí)際這不是錯(cuò)覺。
MyISAM引擎把表的總行數(shù)單獨(dú)記錄在磁盤上,查詢的時(shí)候可以直接返回,不需要再累加統(tǒng)計(jì)。
但是當(dāng)SQL查詢中有where條件的時(shí)候,就無法再使用表的總行數(shù)了,還是需要乖乖的進(jìn)行累加統(tǒng)計(jì),查詢性能也就跟InnoDB相差無幾了。
為什么MyISAM引擎能夠記錄表的總行數(shù),InnoDB引擎卻不行?
因?yàn)镸yISAM引擎不支持事務(wù),只有表鎖,所以記錄的總行數(shù)是準(zhǔn)確的。
而InnoDB引擎支持事務(wù)和行鎖,存在并發(fā)修改的情況。又由于事務(wù)的隔離性,會(huì)出現(xiàn)不可重復(fù)讀和幻讀,記錄的總行數(shù)無法保證是準(zhǔn)確的。
2. 能不能手動(dòng)實(shí)現(xiàn)統(tǒng)計(jì)總行數(shù)
既然InnoDB引擎沒有幫我們記錄總行數(shù),我們能不能手動(dòng)記錄總行數(shù),比如使用Redis。
其實(shí)也是不行的,使用Redis記錄總行數(shù),至少有下面3個(gè)問題:
- 無法實(shí)現(xiàn)事務(wù)之間的隔離
- 更新丟失,因?yàn)閕++不是原子操作,當(dāng)然可以使用Lua腳本實(shí)現(xiàn)原子操作,更復(fù)雜。
- Redis是非關(guān)系型緩存數(shù)據(jù)庫,不能當(dāng)作關(guān)系型持久化數(shù)據(jù)庫使用,一般需要設(shè)置過期時(shí)間。
由上圖中得知,雖然Redis計(jì)數(shù)加1操作放在了事務(wù)里面,但是不受事務(wù)控制的,在事務(wù)沒有提交前,其他查詢依然讀到了最新的總行數(shù),這就是臟讀的情況。
3. InnoDB引擎能否實(shí)現(xiàn)快速計(jì)數(shù)
有一種辦法,可以粗略估計(jì)表的總行數(shù),就是使用MySQL命令:
show table status like 'user';
真實(shí)的總行數(shù)有100萬行,預(yù)估有99萬多行,誤差在可接受的范圍內(nèi)。
部分場(chǎng)景適用,比如粗略估計(jì)網(wǎng)站的總用戶數(shù)。
4. 四種計(jì)數(shù)方式的性能差別
常見的統(tǒng)計(jì)總行數(shù)的方式有以下四種:
count(*) 、 count(常量) 、 count(id) 、 count(字段)
InnoDB引擎對(duì)count計(jì)數(shù)做了優(yōu)化,會(huì)選用數(shù)據(jù)量較小的非聚簇索引進(jìn)行統(tǒng)計(jì)。
比如用戶表中有三個(gè)索引,分別是主鍵索引、name索引和age索引,使用執(zhí)行計(jì)劃查看計(jì)數(shù)的時(shí)候用到了哪個(gè)索引?
CREATE TABLE `user` ( ?`id` int NOT NULL AUTO_INCREMENT COMMENT '主鍵', ?`name` varchar(100) DEFAULT NULL COMMENT '姓名', ?`age` tinyint NOT NULL, ?PRIMARY KEY (`id`), ?KEY `idx_name` (`name`), ?KEY `idx_age` (`age`) ) ENGINE=InnoDB COMMENT='用戶表';
explain select count(*) from user;
用到了數(shù)據(jù)量較小的age索引。
count(*) 、 count(常量) 是直接統(tǒng)計(jì)表中的總行數(shù),效率較高。
而 count(id) 還需要把數(shù)據(jù)返回給MySQL Server端進(jìn)行累加計(jì)數(shù)。
最后 count(字段)需要篩選不為null字段,效率最差。
四種計(jì)數(shù)的查詢性能從高到低,依次是:
count(*) ≈ count(常量) > count(id) > count(字段)
對(duì)于大多數(shù)情況,得到計(jì)數(shù)結(jié)果,還是老老實(shí)實(shí)使用count(*)
所以推薦使用select count(*) ,別跟select * 搞混了,不推薦使用select * 的。
到此這篇關(guān)于MySQL select count(*)計(jì)數(shù)很慢優(yōu)化方案的文章就介紹到這了,更多相關(guān)MySQL 優(yōu)化內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
You must SET PASSWORD before execut
今天在MySql5.6操作時(shí)報(bào)錯(cuò):You must SET PASSWORD before executing this statement解決方法,需要的朋友可以參考下2013-06-06mysql could not be resolved: Name or service not known
今天查看mysql日志的時(shí)候發(fā)現(xiàn)[Warning] IP address '10.0.0.220' could not be resolved: Name or service not known,原來是mysql DNS反解:skip-name-resolve的原因,屏蔽一下就可以了2015-08-08一臺(tái)電腦(windows系統(tǒng))安裝兩個(gè)版本MYSQL方法步驟
由于新舊項(xiàng)目數(shù)據(jù)庫版本差距太大,編碼格式不同,引擎也不同,所以只好裝兩個(gè)數(shù)據(jù)庫,這篇文章主要給大家介紹了關(guān)于一臺(tái)電腦(windows系統(tǒng))安裝兩個(gè)版本MYSQL的方法步驟,文中通過實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2023-03-03

詳解MySQL實(shí)時(shí)同步到Oracle解決方案