SQL 窗口函數(shù)實現(xiàn)高效分頁查詢的案例分析

更新時間：2021年05月21日 09:54:22 作者：不剪發(fā)的Tony老師

SQL 各部分的邏輯執(zhí)行順序注意到窗口函數(shù)的求值僅僅位于ORDER BY之前,而位于 SQL 的絕大部分之后。本文重點給大家介紹SQL 窗口函數(shù)實現(xiàn)高效分頁查詢功能，通過案例分析給大家介紹的很詳細，感興趣的朋友跟隨小編一起看看吧

🍺不聞不若聞之，聞之不若見之，見之不若知之，知之不若行之。學至于行之而止矣。——荀子

大家好！我是只談技術不剪發(fā)的 Tony 老師。

在使用 SQL 語句實現(xiàn)分頁查詢時，我們需要知道一些額外的參數(shù)信息，例如查詢返回的總行數(shù)、當前所在的頁數(shù)、最后一頁的頁數(shù)等。在傳統(tǒng)的實現(xiàn)方法中我們需要執(zhí)行額外的查詢語句獲得這些信息，本文介紹一種只需要一個查詢語句就可以返回所有數(shù)據(jù)的方法，也就是通過 SQL 窗口函數(shù)實現(xiàn)高效的分頁查詢功能。

本文使用的示例表和數(shù)據(jù)可以這里下載。

傳統(tǒng)方法實現(xiàn)分頁查詢

在 SQL 中實現(xiàn)分頁查詢的傳統(tǒng)方法就是利用標準的 OFFSET … FETCH 語句或者許多數(shù)據(jù)庫支持的 LIMIT … OFFSET 語句，例如：

-- Oracle、SQL Server、PostgreSQL
SELECT emp_name, sex, email 
FROM employee
ORDER BY emp_id
OFFSET 10 ROWS FETCH NEXT 10 ROWS ONLY;

-- MySQL、PostgreSQL、SQLite
SELECT emp_name, sex, email 
FROM employee
ORDER BY emp_id
LIMIT 10 OFFSET 10;

以上語句非常容易理解，返回的是第 2 頁中的 10 條記錄。但是問題在于我們如何知道總共包含多少頁數(shù)據(jù)（或者總的記錄數(shù)），顯然在此之前我們需要執(zhí)行另一個查詢：

SELECT COUNT(*)
FROM employee;

COUNT(*)|
--------+
      25|

有了總的記錄數(shù) 25 之后，我們可以計算出數(shù)據(jù)總共有 3 頁，每頁 10 條。

這種方法要求我們每次進行分頁查詢時都需要執(zhí)行 2 個查詢語句，使用起來不是很方便。下面我們介紹更加高效的窗口函數(shù)分頁查詢。

📝關于分頁查詢的實現(xiàn)，OFFSET 分頁對于大量數(shù)據(jù)的分頁可能存在性能問題，另一種方法就是采用鍵集分頁（keyset pagination）。

窗口函數(shù)實現(xiàn)分頁查詢

首先讓我們考慮一下使用 OFFSET 分頁查詢時需要哪些參數(shù)：

TOTAL_ROWS，總記錄數(shù)；
CURRENT_PAGE，當前所在頁碼；
MAX_PAGE_SIZE，每一頁最多顯示的記錄數(shù)，例如 10、20、50；
ACTUAL_PAGE_SIZE，當前頁實際包含的記錄數(shù)；
ROW_NBR，每條記錄的實際偏移量；
LAST_PAGE，當前頁是否是最后一頁。

每一頁最多顯示的記錄數(shù)（MAX_PAGE_SIZE）是我們傳遞給數(shù)據(jù)庫的參數(shù)，其他則是查詢返回的結果，我們可以通過下面的查詢語句實現(xiàn)所有的功能：

-- Oracle、SQL Server、PostgreSQL
WITH e AS ( -- 初始查詢
  SELECT emp_id, emp_name, sex, email
  FROM employee
),
t AS (
  SELECT emp_id, emp_name, sex, email, 
         COUNT(*) OVER () AS total_rows, -- 總記錄數(shù)
         ROW_NUMBER () OVER (ORDER BY e.emp_id) AS row_nbr -- 偏移量，ORDER BY和初始查詢相同
  FROM e
  ORDER BY e.emp_id -- 排序
  OFFSET 10 ROWS -- 分頁
  FETCH NEXT 10 ROWS ONLY
)
SELECT
  emp_id, emp_name, sex, email,
  COUNT(*) OVER () AS actual_page_size, -- 當前頁實際記錄數(shù)
  CASE MAX(row_nbr) OVER () 
    WHEN total_rows THEN 'Y' 
    ELSE 'N' 
  END AS last_page, -- 是否最后一頁
  total_rows, -- 總記錄數(shù)
  row_nbr, -- 每一條數(shù)據(jù)的偏移量
  ((row_nbr - 1) / 10) + 1 AS current_page -- 當前所在頁碼
FROM t
ORDER BY emp_id;


-- MySQL、PostgreSQL、SQLite
WITH e AS ( -- 初始查詢
  SELECT emp_id, emp_name, sex, email
  FROM employee
),
t AS (
  SELECT emp_id, emp_name, sex, email, 
         COUNT(*) OVER () AS total_rows, -- 總記錄數(shù)
         ROW_NUMBER () OVER (ORDER BY e.emp_id) AS row_nbr -- 偏移量，ORDER BY和初始查詢相同
  FROM e
  ORDER BY e.emp_id -- 排序
  LIMIT 10
  OFFSET 10 ROWS -- 分頁
)
SELECT
  emp_id, emp_name, sex, email,
  COUNT(*) OVER () AS actual_page_size, -- 當前頁實際記錄數(shù)
  CASE MAX(row_nbr) OVER () 
    WHEN total_rows THEN 'Y' 
    ELSE 'N' 
  END AS last_page, -- 是否最后一頁
  total_rows, -- 總記錄數(shù)
  row_nbr, -- 每一條數(shù)據(jù)的偏移量
  ((row_nbr - 1) / 10) + 1 AS current_page -- 當前所在頁碼
FROM t
ORDER BY emp_id;

首先，我們定義了通用表表達式 e，它是返回數(shù)據(jù)的初始查詢，可以增加其他的過濾條件。

然后，我們基于 e 定義了另一個通用表表達式 t，在定義中進行了排序和分頁，并且利用窗口函數(shù) COUNT(*) 計算總的記錄數(shù)，利用窗口函數(shù) ROW_NUMBER () 計算每條數(shù)據(jù)的偏移量（行號）。

接下來，我們基于 t 返回了更多的參數(shù)，利用窗口函數(shù) COUNT(*) 返回了當前頁的實際記錄數(shù)，通過窗口函數(shù) MAX(row_nbr) 返回的當前頁最大偏移量和總記錄數(shù)的比較判斷是否最后一頁，以及當前所在的頁碼。

emp_id|emp_name|sex|email              |actual_page_size|last_page|total_rows|row_nbr|current_page|
------+--------+---+-------------------+----------------+---------+----------+-------+------------+
    11|關平    |男 |guanping@shuguo.com|              10|N        |        27|     11|           2|
    12|趙氏    |女 |zhaoshi@shuguo.com |              10|N        |        27|     12|           2|
    13|關興    |男 |guanxing@shuguo.com|              10|N        |        27|     13|           2|
    14|張苞    |男 |zhangbao@shuguo.com|              10|N        |        27|     14|           2|
    15|趙統(tǒng)    |男 |zhaotong@shuguo.com|              10|N        |        27|     15|           2|
    16|周倉    |男 |zhoucang@shuguo.com|              10|N        |        27|     16|           2|
    17|馬岱    |男 |madai@shuguo.com   |              10|N        |        27|     17|           2|
    18|法正    |男 |fazheng@shuguo.com |              10|N        |        27|     18|           2|
    19|龐統(tǒng)    |男 |pangtong@shuguo.com|              10|N        |        27|     19|           2|
    20|蔣琬    |男 |jiangwan@shuguo.com|              10|N        |        27|     20|           2|