mysql 分頁優(yōu)化解析
更新時間:2008年04月30日 18:58:38 作者:
似乎討論分頁的人很少,難道大家都沉迷于limit m,n?在有索引的情況下,limit m,n速度足夠,可是在復(fù)雜條件搜索時,where somthing order by somefield+somefieldmysql會搜遍數(shù)據(jù)庫,找出“所有”符合條件的記錄,然后取出m,n條記錄。
如果你的數(shù)據(jù)量有幾十萬條,用戶又搜索一些很通俗的詞,然后要依次讀最后幾頁重溫舊夢。mysql該很悲壯的不停操作硬盤。
所以,可以試著讓mysql也存儲分頁,當然要程序配合。(這里只是提出一個設(shè)想,歡迎大家一起討論)
ASP的分頁:在ASP系統(tǒng)中有Recordset對象來實現(xiàn)分頁,但是大量數(shù)據(jù)放在內(nèi)存中,而且不知道什么時候才失效(請ASP高手指點). SQL數(shù)據(jù)庫分頁:用存儲過程+游標方式分頁,具體實現(xiàn)原理不是很清楚,設(shè)想如果用一次查詢就得到需要的結(jié)果,或者是id集,需要后續(xù)頁時只要按照結(jié)果中的IDs讀出相關(guān)記錄。這樣只要很小的空間保留本次查詢的所有IDs. (SQL中的查詢結(jié)果不知道怎樣清楚過期垃圾?)
這樣,可以讓mysql模擬存儲分頁機制:
1. select id from $table where $condition order by $field limit $max_pages*$count;查詢符合條件的IDs.限定最大符合條件的記錄數(shù)量,也可以不加。
2. 因為php在執(zhí)行結(jié)束后所有變量都要lost,所以可以考慮:方案a. 在mysql建立臨時表,查詢結(jié)果用一個時間或隨機數(shù)作為唯一標志插入。其中建立page1~pagen個字段,每個字段保存該頁中需要的ids, 這樣一個id對一條記錄.方案b. 如果打開session,也可以放在session中保存,實際上是放在文件中保存。建立一個$IDs數(shù)組,$IDs[1]~$IDs[$max_pages]. 考慮到有時候用戶會開幾個窗口同時查詢,要為$ids做一個唯一標志,避免查詢結(jié)果相互覆蓋。二維數(shù)組和$$var都是好辦法。
3. 在每頁頁的請求中,直接找到對應(yīng)的IDs,中間以","間隔:select * from $table where id in ($ids); 速度絕對快
4. 收尾要考慮查詢結(jié)果的自動清除,可以設(shè)置定時或者按比例隨機清楚。如果用mysql臨時表要加上一個時間標志字段,session中要加入$IDs["time"]=time(); 在一定時間以后不操作視為過期數(shù)據(jù)。
5. 如果要優(yōu)化,可以考慮用把1和2.a中的語句合并成select ...... into ....
Note:1.以上只是針對mysql的修補方案,希望mysql哪天能把這些功能加進去2.其它數(shù)據(jù)庫也可以套用。3.如果其它數(shù)據(jù)庫還有更先進的分頁方式,請告訴我或mailto: steeven@kali.com.cn4.如果真的有很多數(shù)據(jù)要查詢,還是和mysql再見吧,sql,oracle都提供了更先進的關(guān)鍵詞索引查詢。
精益求精,以上只是拋磚引玉,歡迎共同探討分頁問題。(也可關(guān)于其它數(shù)據(jù)庫)希望有一天能把各種分頁方式整理出來供新手參考。
所以,可以試著讓mysql也存儲分頁,當然要程序配合。(這里只是提出一個設(shè)想,歡迎大家一起討論)
ASP的分頁:在ASP系統(tǒng)中有Recordset對象來實現(xiàn)分頁,但是大量數(shù)據(jù)放在內(nèi)存中,而且不知道什么時候才失效(請ASP高手指點). SQL數(shù)據(jù)庫分頁:用存儲過程+游標方式分頁,具體實現(xiàn)原理不是很清楚,設(shè)想如果用一次查詢就得到需要的結(jié)果,或者是id集,需要后續(xù)頁時只要按照結(jié)果中的IDs讀出相關(guān)記錄。這樣只要很小的空間保留本次查詢的所有IDs. (SQL中的查詢結(jié)果不知道怎樣清楚過期垃圾?)
這樣,可以讓mysql模擬存儲分頁機制:
1. select id from $table where $condition order by $field limit $max_pages*$count;查詢符合條件的IDs.限定最大符合條件的記錄數(shù)量,也可以不加。
2. 因為php在執(zhí)行結(jié)束后所有變量都要lost,所以可以考慮:方案a. 在mysql建立臨時表,查詢結(jié)果用一個時間或隨機數(shù)作為唯一標志插入。其中建立page1~pagen個字段,每個字段保存該頁中需要的ids, 這樣一個id對一條記錄.方案b. 如果打開session,也可以放在session中保存,實際上是放在文件中保存。建立一個$IDs數(shù)組,$IDs[1]~$IDs[$max_pages]. 考慮到有時候用戶會開幾個窗口同時查詢,要為$ids做一個唯一標志,避免查詢結(jié)果相互覆蓋。二維數(shù)組和$$var都是好辦法。
3. 在每頁頁的請求中,直接找到對應(yīng)的IDs,中間以","間隔:select * from $table where id in ($ids); 速度絕對快
4. 收尾要考慮查詢結(jié)果的自動清除,可以設(shè)置定時或者按比例隨機清楚。如果用mysql臨時表要加上一個時間標志字段,session中要加入$IDs["time"]=time(); 在一定時間以后不操作視為過期數(shù)據(jù)。
5. 如果要優(yōu)化,可以考慮用把1和2.a中的語句合并成select ...... into ....
Note:1.以上只是針對mysql的修補方案,希望mysql哪天能把這些功能加進去2.其它數(shù)據(jù)庫也可以套用。3.如果其它數(shù)據(jù)庫還有更先進的分頁方式,請告訴我或mailto: steeven@kali.com.cn4.如果真的有很多數(shù)據(jù)要查詢,還是和mysql再見吧,sql,oracle都提供了更先進的關(guān)鍵詞索引查詢。
精益求精,以上只是拋磚引玉,歡迎共同探討分頁問題。(也可關(guān)于其它數(shù)據(jù)庫)希望有一天能把各種分頁方式整理出來供新手參考。
您可能感興趣的文章:
- MySQL limit使用方法以及超大分頁問題解決
- 在大數(shù)據(jù)情況下MySQL的一種簡單分頁優(yōu)化方法
- mysql分頁時offset過大的Sql優(yōu)化經(jīng)驗分享
- MySQL 百萬級分頁優(yōu)化(Mysql千萬級快速分頁)
- MYSQL分頁limit速度太慢的優(yōu)化方法
- mysql limit分頁優(yōu)化方法分享
- MySQL百萬級數(shù)據(jù)分頁查詢優(yōu)化方案
- Mysql limit 優(yōu)化,百萬至千萬級快速分頁 復(fù)合索引的引用并應(yīng)用于輕量級框架
- mysql千萬級數(shù)據(jù)分頁查詢性能優(yōu)化
- MySQL優(yōu)化教程之超大分頁查詢
相關(guān)文章
MySQL創(chuàng)建新用戶、增加賬戶的2種方法及使用實例
這篇文章主要介紹了MySQL創(chuàng)建新用戶、增加賬戶的2種方法及使用實例,本文同時也介紹了更新和修改密碼的方法,需要的朋友可以參考下2014-12-12mysql 數(shù)據(jù)類型轉(zhuǎn)換的實現(xiàn)
這篇文章主要介紹了mysql 數(shù)據(jù)類型轉(zhuǎn)換的實現(xiàn),文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-02-02MySQL?驅(qū)動中虛引用?GC?耗時優(yōu)化與源碼分析
這篇文章主要為大家介紹了MySQL?驅(qū)動中虛引用?GC?耗時優(yōu)化與源碼分析,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2023-05-05解決mysql:ERROR 1045 (28000): Access denied for user ''root''@
今天給大家分享一篇教程幫助大家解決mysql:ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: NO/YES)的問題,非常不錯,特此分享到腳本之家平臺供大家學(xué)習(xí)2021-06-06