mysql 分頁優(yōu)化解析
更新時(shí)間:2008年04月30日 18:58:38 作者:
似乎討論分頁的人很少,難道大家都沉迷于limit m,n?在有索引的情況下,limit m,n速度足夠,可是在復(fù)雜條件搜索時(shí),where somthing order by somefield+somefieldmysql會(huì)搜遍數(shù)據(jù)庫,找出“所有”符合條件的記錄,然后取出m,n條記錄。
如果你的數(shù)據(jù)量有幾十萬條,用戶又搜索一些很通俗的詞,然后要依次讀最后幾頁重溫舊夢。mysql該很悲壯的不停操作硬盤。
所以,可以試著讓mysql也存儲(chǔ)分頁,當(dāng)然要程序配合。(這里只是提出一個(gè)設(shè)想,歡迎大家一起討論)
ASP的分頁:在ASP系統(tǒng)中有Recordset對(duì)象來實(shí)現(xiàn)分頁,但是大量數(shù)據(jù)放在內(nèi)存中,而且不知道什么時(shí)候才失效(請(qǐng)ASP高手指點(diǎn)). SQL數(shù)據(jù)庫分頁:用存儲(chǔ)過程+游標(biāo)方式分頁,具體實(shí)現(xiàn)原理不是很清楚,設(shè)想如果用一次查詢就得到需要的結(jié)果,或者是id集,需要后續(xù)頁時(shí)只要按照結(jié)果中的IDs讀出相關(guān)記錄。這樣只要很小的空間保留本次查詢的所有IDs. (SQL中的查詢結(jié)果不知道怎樣清楚過期垃圾?)
這樣,可以讓mysql模擬存儲(chǔ)分頁機(jī)制:
1. select id from $table where $condition order by $field limit $max_pages*$count;查詢符合條件的IDs.限定最大符合條件的記錄數(shù)量,也可以不加。
2. 因?yàn)閜hp在執(zhí)行結(jié)束后所有變量都要lost,所以可以考慮:方案a. 在mysql建立臨時(shí)表,查詢結(jié)果用一個(gè)時(shí)間或隨機(jī)數(shù)作為唯一標(biāo)志插入。其中建立page1~pagen個(gè)字段,每個(gè)字段保存該頁中需要的ids, 這樣一個(gè)id對(duì)一條記錄.方案b. 如果打開session,也可以放在session中保存,實(shí)際上是放在文件中保存。建立一個(gè)$IDs數(shù)組,$IDs[1]~$IDs[$max_pages]. 考慮到有時(shí)候用戶會(huì)開幾個(gè)窗口同時(shí)查詢,要為$ids做一個(gè)唯一標(biāo)志,避免查詢結(jié)果相互覆蓋。二維數(shù)組和$$var都是好辦法。
3. 在每頁頁的請(qǐng)求中,直接找到對(duì)應(yīng)的IDs,中間以","間隔:select * from $table where id in ($ids); 速度絕對(duì)快
4. 收尾要考慮查詢結(jié)果的自動(dòng)清除,可以設(shè)置定時(shí)或者按比例隨機(jī)清楚。如果用mysql臨時(shí)表要加上一個(gè)時(shí)間標(biāo)志字段,session中要加入$IDs["time"]=time(); 在一定時(shí)間以后不操作視為過期數(shù)據(jù)。
5. 如果要優(yōu)化,可以考慮用把1和2.a中的語句合并成select ...... into ....
Note:1.以上只是針對(duì)mysql的修補(bǔ)方案,希望mysql哪天能把這些功能加進(jìn)去2.其它數(shù)據(jù)庫也可以套用。3.如果其它數(shù)據(jù)庫還有更先進(jìn)的分頁方式,請(qǐng)告訴我或mailto: steeven@kali.com.cn4.如果真的有很多數(shù)據(jù)要查詢,還是和mysql再見吧,sql,oracle都提供了更先進(jìn)的關(guān)鍵詞索引查詢。
精益求精,以上只是拋磚引玉,歡迎共同探討分頁問題。(也可關(guān)于其它數(shù)據(jù)庫)希望有一天能把各種分頁方式整理出來供新手參考。
所以,可以試著讓mysql也存儲(chǔ)分頁,當(dāng)然要程序配合。(這里只是提出一個(gè)設(shè)想,歡迎大家一起討論)
ASP的分頁:在ASP系統(tǒng)中有Recordset對(duì)象來實(shí)現(xiàn)分頁,但是大量數(shù)據(jù)放在內(nèi)存中,而且不知道什么時(shí)候才失效(請(qǐng)ASP高手指點(diǎn)). SQL數(shù)據(jù)庫分頁:用存儲(chǔ)過程+游標(biāo)方式分頁,具體實(shí)現(xiàn)原理不是很清楚,設(shè)想如果用一次查詢就得到需要的結(jié)果,或者是id集,需要后續(xù)頁時(shí)只要按照結(jié)果中的IDs讀出相關(guān)記錄。這樣只要很小的空間保留本次查詢的所有IDs. (SQL中的查詢結(jié)果不知道怎樣清楚過期垃圾?)
這樣,可以讓mysql模擬存儲(chǔ)分頁機(jī)制:
1. select id from $table where $condition order by $field limit $max_pages*$count;查詢符合條件的IDs.限定最大符合條件的記錄數(shù)量,也可以不加。
2. 因?yàn)閜hp在執(zhí)行結(jié)束后所有變量都要lost,所以可以考慮:方案a. 在mysql建立臨時(shí)表,查詢結(jié)果用一個(gè)時(shí)間或隨機(jī)數(shù)作為唯一標(biāo)志插入。其中建立page1~pagen個(gè)字段,每個(gè)字段保存該頁中需要的ids, 這樣一個(gè)id對(duì)一條記錄.方案b. 如果打開session,也可以放在session中保存,實(shí)際上是放在文件中保存。建立一個(gè)$IDs數(shù)組,$IDs[1]~$IDs[$max_pages]. 考慮到有時(shí)候用戶會(huì)開幾個(gè)窗口同時(shí)查詢,要為$ids做一個(gè)唯一標(biāo)志,避免查詢結(jié)果相互覆蓋。二維數(shù)組和$$var都是好辦法。
3. 在每頁頁的請(qǐng)求中,直接找到對(duì)應(yīng)的IDs,中間以","間隔:select * from $table where id in ($ids); 速度絕對(duì)快
4. 收尾要考慮查詢結(jié)果的自動(dòng)清除,可以設(shè)置定時(shí)或者按比例隨機(jī)清楚。如果用mysql臨時(shí)表要加上一個(gè)時(shí)間標(biāo)志字段,session中要加入$IDs["time"]=time(); 在一定時(shí)間以后不操作視為過期數(shù)據(jù)。
5. 如果要優(yōu)化,可以考慮用把1和2.a中的語句合并成select ...... into ....
Note:1.以上只是針對(duì)mysql的修補(bǔ)方案,希望mysql哪天能把這些功能加進(jìn)去2.其它數(shù)據(jù)庫也可以套用。3.如果其它數(shù)據(jù)庫還有更先進(jìn)的分頁方式,請(qǐng)告訴我或mailto: steeven@kali.com.cn4.如果真的有很多數(shù)據(jù)要查詢,還是和mysql再見吧,sql,oracle都提供了更先進(jìn)的關(guān)鍵詞索引查詢。
精益求精,以上只是拋磚引玉,歡迎共同探討分頁問題。(也可關(guān)于其它數(shù)據(jù)庫)希望有一天能把各種分頁方式整理出來供新手參考。
您可能感興趣的文章:
- MySQL limit使用方法以及超大分頁問題解決
- 在大數(shù)據(jù)情況下MySQL的一種簡單分頁優(yōu)化方法
- mysql分頁時(shí)offset過大的Sql優(yōu)化經(jīng)驗(yàn)分享
- MySQL 百萬級(jí)分頁優(yōu)化(Mysql千萬級(jí)快速分頁)
- MYSQL分頁limit速度太慢的優(yōu)化方法
- mysql limit分頁優(yōu)化方法分享
- MySQL百萬級(jí)數(shù)據(jù)分頁查詢優(yōu)化方案
- Mysql limit 優(yōu)化,百萬至千萬級(jí)快速分頁 復(fù)合索引的引用并應(yīng)用于輕量級(jí)框架
- mysql千萬級(jí)數(shù)據(jù)分頁查詢性能優(yōu)化
- MySQL優(yōu)化教程之超大分頁查詢
相關(guān)文章
MySQL創(chuàng)建新用戶、增加賬戶的2種方法及使用實(shí)例
這篇文章主要介紹了MySQL創(chuàng)建新用戶、增加賬戶的2種方法及使用實(shí)例,本文同時(shí)也介紹了更新和修改密碼的方法,需要的朋友可以參考下2014-12-12MySql比較運(yùn)算符正則式匹配REGEXP的詳細(xì)使用詳解
這篇文章主要介紹了MySql比較運(yùn)算符正則式匹配REGEXP的詳細(xì)使用詳解,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-10-10mysql 數(shù)據(jù)類型轉(zhuǎn)換的實(shí)現(xiàn)
這篇文章主要介紹了mysql 數(shù)據(jù)類型轉(zhuǎn)換的實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-02-02MySQL實(shí)戰(zhàn)記錄之如何快速定位慢SQL
這可能是困然很多人的一個(gè)問題,MySQL通過慢查詢?nèi)罩径ㄎ荒切﹫?zhí)行效率較低的SQL語句,下面這篇文章主要給大家介紹了關(guān)于MySQL實(shí)戰(zhàn)記錄之如何快速定位慢SQL的相關(guān)資料,需要的朋友可以參考下2022-03-03MySQL?驅(qū)動(dòng)中虛引用?GC?耗時(shí)優(yōu)化與源碼分析
這篇文章主要為大家介紹了MySQL?驅(qū)動(dòng)中虛引用?GC?耗時(shí)優(yōu)化與源碼分析,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-05-05解決mysql:ERROR 1045 (28000): Access denied for user ''root''@
今天給大家分享一篇教程幫助大家解決mysql:ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: NO/YES)的問題,非常不錯(cuò),特此分享到腳本之家平臺(tái)供大家學(xué)習(xí)2021-06-06