mysql千萬級數(shù)據(jù)分頁查詢性能優(yōu)化
mysql數(shù)據(jù)量大時(shí)使用limit分頁,隨著頁碼的增大,查詢效率越低下。
實(shí)驗(yàn)
1.直接使用用limit start, count分頁語句:
select * from order limit start, count
當(dāng)起始頁較小時(shí),查詢沒有性能問題,我們分別看下從10, 100, 1000, 10000開始分頁的執(zhí)行時(shí)間(每頁取20條), 如下:
select * from order limit 10, 20 0.016秒 select * from order limit 100, 20 0.016秒 select * from order limit 1000, 20 0.047秒 select * from order limit 10000, 20 0.094秒
我們已經(jīng)看出隨著起始記錄的增加,時(shí)間也隨著增大, 這說明分頁語句limit跟起始頁碼是有很大關(guān)系的,那么我們把起始記錄改為40w看下
select * from order limit 400000, 20 3.229秒
再看我們?nèi)∽詈笠豁撚涗浀臅r(shí)間
select * from order limit 800000, 20 37.44秒
顯然這種時(shí)間是無法忍受的。
從中我們也能總結(jié)出兩件事情:
1)limit語句的查詢時(shí)間與起始記錄的位置成正比
2)mysql的limit語句是很方便,但是對記錄很多的表并不適合直接使用。
2.對limit分頁問題的性能優(yōu)化方法
利用表的覆蓋索引來加速分頁查詢
我們都知道,利用了索引查詢的語句中如果只包含了那個(gè)索引列(覆蓋索引),那么這種情況會查詢很快。
因?yàn)槔盟饕檎矣袃?yōu)化算法,且數(shù)據(jù)就在查詢索引上面,不用再去找相關(guān)的數(shù)據(jù)地址了,這樣節(jié)省了很多時(shí)間。另外Mysql中也有相關(guān)的索引緩存,在并發(fā)高的時(shí)候利用緩存就效果更好了。
在我們的例子中,我們知道id字段是主鍵,自然就包含了默認(rèn)的主鍵索引。現(xiàn)在讓我們看看利用覆蓋索引的查詢效果如何:
這次我們之間查詢最后一頁的數(shù)據(jù)(利用覆蓋索引,只包含id列),如下:
select id from order limit 800000, 20 0.2秒
相對于查詢了所有列的37.44秒,提升了大概100多倍的速度
那么如果我們也要查詢所有列,有兩種方法,一種是id>=的形式,另一種就是利用join,看下實(shí)際情況:
SELECT * FROM order WHERE ID > =(select id from order limit 800000, 1) limit 20
查詢時(shí)間為0.2秒,簡直是一個(gè)質(zhì)的飛躍啊,哈哈
另一種寫法
SELECT * FROM order a JOIN (select id from order limit 800000, 20) b ON a.ID = b.id
查詢時(shí)間也很短
相關(guān)文章
MySQL中查詢某一天, 某一月, 某一年的數(shù)據(jù)代碼詳解
本文通過實(shí)例代碼給大家介紹了MySQL中, 如何查詢某一天, 某一月, 某一年的數(shù)據(jù) ,需要的朋友可以參考下2019-06-06自用mysql自帶命令實(shí)現(xiàn)數(shù)據(jù)庫備份還原的方法
本文章介紹了都是mysql常用的命令一些數(shù)據(jù)導(dǎo)入導(dǎo)出的命令了,只要我們撐握這些命令就可以方法快速的給我們的數(shù)據(jù)庫進(jìn)行備份還原了2012-04-04基于ubuntu中使用mysql實(shí)現(xiàn)opensips用戶認(rèn)證的解決方法
本篇文章小編為大家介紹,基于ubuntu中使用mysql實(shí)現(xiàn)opensips用戶認(rèn)證的解決方法。需要的朋友參考下2013-04-04使用use index優(yōu)化sql查詢的詳細(xì)介紹
本篇文章是對使用use index優(yōu)化sql查詢進(jìn)行了詳細(xì)的分析介紹,需要的朋友參考下2013-06-06MySQL分組查詢、排序查詢、分頁查詢以及執(zhí)行順序
MySQL數(shù)據(jù)查詢是數(shù)據(jù)庫操作中最常見的操作之一,它可以幫助我們從數(shù)據(jù)庫中獲取所需的數(shù)據(jù),下面這篇文章主要給大家介紹了關(guān)于MySQL分組查詢、排序查詢、分頁查詢以及執(zhí)行順序的相關(guān)資料,需要的朋友可以參考下2024-02-02淺析mysql 語句的調(diào)度優(yōu)先級及改變
本篇文章是對mysql語句的調(diào)度優(yōu)先級及改變進(jìn)行了詳細(xì)的分析介紹,需要的朋友參考下2013-06-06