SparkSQL開窗函數(shù)分析使用示例
更新時(shí)間：2023年01月20日 10:49:37 作者：健鑫.
開窗函數(shù)的引入是為了既顯示聚集前的數(shù)據(jù)，又顯示聚集后的數(shù)據(jù)。即在每一行的最后一列添加聚合函數(shù)的結(jié)果。開窗用于為行定義一個(gè)窗口，它對(duì)一組值進(jìn)行操作，不需要使用 GROUP BY 子句對(duì)數(shù)據(jù)進(jìn)行分組，能夠在同一行中同時(shí)返回基礎(chǔ)行的列和聚合列
開窗函數(shù)能在每行的最后一行都顯示聚合函數(shù)的結(jié)果，所以聚合函數(shù)可以用作開窗函數(shù)
聚合函數(shù)和開窗函數(shù)
聚合函數(shù)是將多行變成一行，如果要顯示其他列，必須將列加入group by
開窗函數(shù)是將一行變成多行，將所有的信息顯示出來
開窗函數(shù)
聚合開窗函數(shù)
聚合函數(shù) over(partition by子句)
over關(guān)鍵字將聚合函數(shù)當(dāng)作聚合開窗函數(shù)
SQL標(biāo)準(zhǔn)允許所有的聚合函數(shù)用作聚合開窗函數(shù)
示例：
// spark.sql("select id, name, age, count(name) from person").show 報(bào)錯(cuò)
spark.sql("select id, name, age, count(name)over() sum from person").show
/*
* +---+----+---+---+
| id|name|age|sum|
+---+----+---+---+
| 1| jx| 20| 6|
| 2| zx| 21| 6|
| 3| wz| 33| 6|
| 4| qw| 11| 6|
| 5| aa| 22| 6|
| 6| aq| 45| 6|
+---+----+---+---+
*
* */
over后面的括號(hào)還可以改變聚合函數(shù)的窗口范圍
如果over后面的括號(hào)為空，則開窗函數(shù)會(huì)對(duì)所有行進(jìn)行聚合運(yùn)算
over后面的括號(hào)里可以用partition by 來定義行的分區(qū)來進(jìn)行聚合運(yùn)算
partition by進(jìn)行分區(qū)之后，計(jì)算當(dāng)前分區(qū)的聚合計(jì)算的結(jié)果
spark.sql("select id, name, age, area_id, count(name)over(partition by area_id) sum from person").show
/*
+---+----+---+-------+---+
| id|name|age|area_id|sum|
+---+----+---+-------+---+
| 1| jx| 20| 1| 3|
| 2| zx| 21| 1| 3|
| 3| wz| 33| 1| 3|
| 5| aa| 22| 3| 2|
| 6| aq| 45| 3| 2|
| 4| qw| 11| 2| 1|
+---+----+---+-------+---+
*
* */
排序開窗函數(shù)
ROW_NUMBER順序排序
row_number() over(order by score)
排序開窗函數(shù)中使用partition by 需要放置在order by之前
實(shí)例
spark.sql("select id, name, age, area_id, row_number() over(order by age) rank from person").show
spark.sql("select id, name, age, area_id, row_number() over(partition by area_id order by age) rank from person").show
/*
+---+----+---+-------+----+
| id|name|age|area_id|rank|
+---+----+---+-------+----+
| 4| qw| 11| 2| 1|
| 1| jx| 20| 1| 2|
| 2| zx| 21| 1| 3|
| 5| aa| 22| 3| 4|
| 3| wz| 33| 1| 5|
| 6| aq| 45| 3| 6|
+---+----+---+-------+----+
+---+----+---+-------+----+
| id|name|age|area_id|rank|
+---+----+---+-------+----+
| 1| jx| 20| 1| 1|
| 2| zx| 21| 1| 2|
| 3| wz| 33| 1| 3|
| 5| aa| 22| 3| 1|
| 6| aq| 45| 3| 2|
| 4| qw| 11| 2| 1|
+---+----+---+-------+----+
*
* */
RANK跳躍排序
rank() over(order by)
使用該函數(shù)排序求出來的結(jié)果可以并列
示例
spark.sql("select id, name, age, area_id, rank() over(order by age) rank from person").show
spark.sql("select id, name, age, area_id, rank() over(partition by area_id order by age) rank from person").show
/*
+---+----+---+-------+----+
| id|name|age|area_id|rank|
+---+----+---+-------+----+
| 4| qw| 10| 2| 1|
| 1| jx| 20| 1| 2|
| 2| zx| 20| 1| 2|
| 5| aa| 22| 3| 4|
| 7| qq| 22| 3| 4|
| 3| wz| 33| 1| 6|
| 6| aq| 45| 3| 7|
+---+----+---+-------+----+
+---+----+---+-------+----+
| id|name|age|area_id|rank|
+---+----+---+-------+----+
| 1| jx| 20| 1| 1|
| 2| zx| 20| 1| 1|
| 3| wz| 33| 1| 3|
| 5| aa| 22| 3| 1|
| 7| qq| 22| 3| 1|
| 6| aq| 45| 3| 3|
| 4| qw| 10| 2| 1|
+---+----+---+-------+----+
*
* */
DENSE_RANK連續(xù)排序
dense_rank() over(order by )
使用該函數(shù)，并列排名之后的排序+1
示例
spark.sql("select id, name, age, area_id, dense_rank() over(order by age) rank from person").show
spark.sql("select id, name, age, area_id, dense_rank() over(partition by area_id order by age) rank from person").show
/*
+---+----+---+-------+----+
| id|name|age|area_id|rank|
+---+----+---+-------+----+
| 4| qw| 10| 2| 1|
| 1| jx| 20| 1| 2|
| 2| zx| 20| 1| 2|
| 5| aa| 22| 3| 3|
| 7| qq| 22| 3| 3|
| 3| wz| 33| 1| 4|
| 6| aq| 45| 3| 5|
+---+----+---+-------+----+
+---+----+---+-------+----+
| id|name|age|area_id|rank|
+---+----+---+-------+----+
| 1| jx| 20| 1| 1|
| 2| zx| 20| 1| 1|
| 3| wz| 33| 1| 2|
| 5| aa| 22| 3| 1|
| 7| qq| 22| 3| 1|
| 6| aq| 45| 3| 2|
| 4| qw| 10| 2| 1|
+---+----+---+-------+----+
*
* */
NTILE分組排序
ntile(6) over(order by) // 表示分成六個(gè)組，顯示每個(gè)組的序號(hào)
spark.sql("select id, name, age, area_id, ntile(4) over(order by age) rank from person").show
spark.sql("select id, name, age, area_id, ntile(4) over(partition by area_id order by age) rank from person").show
/*
+---+----+---+-------+----+
| id|name|age|area_id|rank|
+---+----+---+-------+----+
| 4| qw| 10| 2| 1|
| 1| jx| 20| 1| 1|
| 2| zx| 20| 1| 2|
| 5| aa| 22| 3| 2|
| 7| qq| 22| 3| 3|
| 3| wz| 33| 1| 3|
| 6| aq| 45| 3| 4|
+---+----+---+-------+----+
+---+----+---+-------+----+
| id|name|age|area_id|rank|
+---+----+---+-------+----+
| 1| jx| 20| 1| 1|
| 2| zx| 20| 1| 2|
| 3| wz| 33| 1| 3|
| 5| aa| 22| 3| 1|
| 7| qq| 22| 3| 2|
| 6| aq| 45| 3| 3|
| 4| qw| 10| 2| 1|
+---+----+---+-------+----+
*
* */
到此這篇關(guān)于SparkSQL開窗函數(shù)分析使用示例的文章就介紹到這了,更多相關(guān)SparkSQL開窗函數(shù)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
這篇文章主要介紹了Spring Boot與React集成的示例代碼，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2018-11-11
Spring中@PropertySource的使用方法和運(yùn)行原理詳解
這篇文章主要介紹了Spring中@PropertySource的使用方法和運(yùn)行原理詳解,PropertySource注解可以方便和靈活的向Spring的環(huán)境容器(org.springframework.core.env.Environment?Environment)中注入一些屬性,這些屬性可以在Bean中使用,需要的朋友可以參考下2023-11-11
Mybatis choose when用法實(shí)例代碼
本文通過實(shí)例代碼給大家介紹了Mybatis choose when用法，需要的的朋友參考下吧2017-06-06
這篇文章主要介紹了Java NIO實(shí)戰(zhàn)之聊天室功能,結(jié)合實(shí)例形式詳細(xì)分析了java NIO聊天室具體的服務(wù)端、客戶端相關(guān)實(shí)現(xiàn)方法與操作注意事項(xiàng),需要的朋友可以參考下2019-11-11
這篇文章主要為大家詳細(xì)介紹了Spring使用注解方式處理事務(wù)，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2022-08-08 
在本篇文章里小編給大家分享了關(guān)于Java提示缺少返回語句的解決辦法以及相關(guān)知識(shí)點(diǎn)，需要的朋友們參考下。
2019-07-07 
springboot 設(shè)置局域網(wǎng)訪問的實(shí)現(xiàn)步驟
Spring Boot是一個(gè)開源Java-based框架,用于創(chuàng)建獨(dú)立的、生產(chǎn)級(jí)別的Spring應(yīng)用,它旨在簡(jiǎn)化Spring應(yīng)用的初始搭建及開發(fā)過程,通過提供各種自動(dòng)配置的starter包,Spring Boot使得項(xiàng)目配置變得簡(jiǎn)單快速,感興趣的朋友一起看看吧
2024-02-02 
這篇文章主要為大家詳細(xì)介紹了java實(shí)現(xiàn)二分法的完整代碼，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2018-11-11 
多線程之于進(jìn)程的理解,可以類比多進(jìn)程之于操作系統(tǒng),多線程指在單個(gè)程序中可以同時(shí)運(yùn)行多個(gè)不同的線程執(zhí)行不同的任務(wù),這篇文章主要給大家介紹了關(guān)于Java多線程基本概念以及避坑指南的相關(guān)資料,需要的朋友可以參考下
2021-09-09