mysql中token的分頁升級
數(shù)據(jù)庫分頁查詢時(shí),必須返回一個用于分頁的token,這個token可以直接用于定位下一頁的第一條數(shù)據(jù)。不能簡單的使用limit offset的偏移量作為page token,在數(shù)據(jù)量大時(shí)無法降低查詢時(shí)間復(fù)雜度。
簡介
這個觀點(diǎn)的核心在于提高大數(shù)據(jù)集分頁查詢的效率。當(dāng)數(shù)據(jù)量非常大時(shí),使用 LIMIT
和 OFFSET
語句分頁可能會導(dǎo)致性能問題,因?yàn)閿?shù)據(jù)庫需要跳過 OFFSET
指定數(shù)量的行來檢索數(shù)據(jù),這就意味著隨著 OFFSET
的增加,查詢效率會逐漸降低。
為了解決這個問題,可以使用基于游標(biāo)(Cursor)或者稱為 "Seek Method" 的分頁方法。這種方法不是通過指定要跳過的記錄數(shù)量來檢索下一頁,而是通過記錄上一頁最后一條記錄的某個唯一鍵(通常是主鍵或者唯一索引),然后查詢所有排序后的下一組記錄。
這里是一個簡單的示例,假設(shè)我們有一個 users
表,其中包含一個自增的 id
字段作為主鍵。
首先,我們需要一個 API,它不是接受一個頁碼,而是接受一個 last_seen_id
(上一頁最后一個用戶的 ID)作為參數(shù)來獲取下一頁的數(shù)據(jù)。
代碼
下面是一個示例代碼,它使用 Flask 框架創(chuàng)建一個分頁 API。為了簡單起見,這個例子不包括數(shù)據(jù)庫連接的細(xì)節(jié):
from flask import Flask, request, jsonify app = Flask(__name__) # 假設(shè)我們有一個數(shù)據(jù)庫查詢函數(shù) def query_db(query, args=(), one=False): # 這里應(yīng)該是執(zhí)行數(shù)據(jù)庫查詢的代碼,比如使用 pymysql 或者 sqlalchemy # 這里只是為了示例,不提供具體實(shí)現(xiàn) pass # 分頁查詢的API @app.route('/users', methods=['GET']) def get_users(): # 設(shè)置默認(rèn)每頁數(shù)量和最大數(shù)量 default_page_size = 10 max_page_size = 100 # 從請求中獲取 last_seen_id 和每頁數(shù)量參數(shù) last_seen_id = request.args.get('last_seen_id', None) page_size = int(request.args.get('page_size', default_page_size)) # 限制page_size不能超過最大限制 if page_size > max_page_size: page_size = max_page_size # 創(chuàng)建查詢,使用 last_seen_id 定位下一頁數(shù)據(jù) if last_seen_id: query = "SELECT * FROM users WHERE id > %s ORDER BY id ASC LIMIT %s" args = (last_seen_id, page_size) else: # 如果沒有提供 last_seen_id,就返回第一頁數(shù)據(jù) query = "SELECT * FROM users ORDER BY id ASC LIMIT %s" args = (page_size,) # 執(zhí)行查詢 users = query_db(query, args) # 將查詢結(jié)果轉(zhuǎn)換為字典列表 # 假設(shè)每個 user 是一個元組(id, name) users_list = [{'id': user[0], 'name': user[1]} for user in users] last_seen_id = users[-1][0] if users else None # 返回JSON響應(yīng) return jsonify({ 'users': users_list, 'last_seen_id': last_seen_id }) # 啟動Flask應(yīng)用 if __name__ == '__main__': app.run(debug=True)
使用這個 API,客戶端可以通過指定 last_seen_id
參數(shù)來獲取下一頁的數(shù)據(jù),例如 /users?last_seen_id=100&page_size=20
將獲取 ID 大于 100 的下一頁 20 條用戶記錄。
這種方法的優(yōu)點(diǎn)是,無論你要獲取的是第一頁還是第一百萬頁,查詢的效率都是一樣的,因?yàn)閿?shù)據(jù)庫總是從上一頁的最后一個 id
開始查找下一組記錄,而不需要跳過任何行。這樣可以大大提高查詢的效率,尤其是在處理大型數(shù)據(jù)集時(shí)。
到此這篇關(guān)于mysql中token的作用的文章就介紹到這了,更多相關(guān)mysql token內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
MySQL慢查詢優(yōu)化之慢查詢?nèi)罩痉治龅膶?shí)例教程
這篇文章主要介紹了MySQL慢查詢?nèi)罩痉治龅膶?shí)例教程,通過設(shè)置參數(shù)從慢查詢?nèi)罩鹃_始分析性能問題的原因,需要的朋友可以參考下2015-11-11MySQL數(shù)據(jù)庫之union,limit和子查詢詳解
這篇文章主要為大家詳細(xì)介紹一下MySQL數(shù)據(jù)庫中union、limit和子查詢的使用,文中的示例代碼講解詳細(xì),對我們學(xué)習(xí)MySQL有一定幫助,需要的可以參考一下2022-07-07淺談MySQL中授權(quán)(grant)和撤銷授權(quán)(revoke)用法詳解
下面小編就為大家?guī)硪黄獪\談MySQL中授權(quán)(grant)和撤銷授權(quán)(revoke)用法詳解。小編覺得挺不錯的,現(xiàn)在就分享給大家,也給大家做個參考。一起跟隨小編過來看看吧2016-09-09Windows10系統(tǒng)下MySQL(8.0.37)安裝與配置教程
相信很多人都遇到過安裝Mysql的時(shí)候出現(xiàn)各種各樣的問題,下面這篇文章主要給大家介紹了關(guān)于Windows10系統(tǒng)下MySQL(8.0.37)安裝與配置的相關(guān)資料,文中通過圖文介紹的非常詳細(xì),需要的朋友可以參考下2024-07-07MySQL用limit方式實(shí)現(xiàn)分頁的實(shí)例方法
在本篇文章中小編給大家整理了一篇關(guān)于MySQL用limit方式實(shí)現(xiàn)分頁的實(shí)例方法,有需要的朋友們可以參考學(xué)習(xí)下。2020-01-01mysql通過binlog定時(shí)備份數(shù)據(jù)庫與恢復(fù)的方法
這篇文章主要介紹了mysql通過binlog定時(shí)備份數(shù)據(jù)庫與恢復(fù)的方法,本文給大家介紹的非常詳細(xì),感興趣的朋友跟隨小編一起看看吧2024-12-12mysql導(dǎo)入導(dǎo)出數(shù)據(jù)中文亂碼解決方法小結(jié)
本文章總結(jié)了mysql導(dǎo)入導(dǎo)出數(shù)據(jù)中文亂碼解決方法,出現(xiàn)中文亂碼一般情況是導(dǎo)入導(dǎo)入時(shí)編碼的設(shè)置問題,我們只要把編碼調(diào)整一致即可解決此方法,下面是搜索到的一些方法總結(jié),方便需要的朋友2012-10-10