快捷導(dǎo)航

MySQL?Flink實(shí)時(shí)流處理的核心技術(shù)之窗口機(jī)制

更新時(shí)間：2023年05月09日 09:43:34 作者：奔跑如風(fēng)

Flink是一款流處理框架，窗口機(jī)制是其核心技術(shù)之一。Flink的窗口機(jī)制可以將無限的數(shù)據(jù)流劃分為有限的窗口，并對窗口內(nèi)的數(shù)據(jù)進(jìn)行處理。Flink的窗口機(jī)制支持時(shí)間、計(jì)數(shù)、會話等多種窗口類型，并且可以在不同的窗口之間進(jìn)行流轉(zhuǎn)換和數(shù)據(jù)聚合，是實(shí)時(shí)流處理中非常重要的技術(shù)

1.為什么要學(xué)窗口

流式計(jì)算，一般有兩種場景：

無限制的流式計(jì)算，比如：wordcount案例，它沒有任何外部的限制條件，這種情況不多。
有限制的流式計(jì)算，比如：統(tǒng)計(jì)早高峰時(shí)間內(nèi)經(jīng)過某個(gè)道路的車輛數(shù)。

對于第二種情況來說，我們需要加上額外的限制條件。最常用的限制條件就是時(shí)間了。

這個(gè)時(shí)間段，在程序中，就用一個(gè)窗口來表示。

也就是說，窗口的作用：把流式計(jì)算轉(zhuǎn)換為批量計(jì)算，窗口是流轉(zhuǎn)批的一個(gè)橋梁。

這就是為什么要學(xué)窗口的原因了。

2.Flink中的窗口

在Flink中，窗口可以分為如下幾類：

滾動窗口（Tumble）
滑動窗口（hop、Slice）
會話窗口（session）
漸進(jìn)式窗口（cumulate）
聚合窗口（over）

3.滾動窗口（Tumble）

3.1 概念

滾動窗口：窗口大小 = 滾動距離（時(shí)間間隔）

特點(diǎn)：上一個(gè)窗口的結(jié)束就是下一個(gè)窗口的開始，數(shù)據(jù)不重復(fù)、也不丟失。

3.2 案例SQL

#1.創(chuàng)建source表
CREATE TABLE source_table ( 
 user_id STRING, 
 price BIGINT,
 `timestamp` bigint,
 row_time AS TO_TIMESTAMP(FROM_UNIXTIME(`timestamp`)),
 watermark for row_time as row_time - interval '0' second
) WITH (
  'connector' = 'socket',
  'hostname' = 'node1',        
  'port' = '9999',
  'format' = 'csv'
);
#2.語法
tumble(事件時(shí)間列,窗口大小)
窗口大小是用戶自定義的。比如30分鐘、1小時(shí)等。
直接把tumble窗口放在group by語句后即可。
比如：tumble(row_time,interval '5' second)
含義：定義一個(gè)5秒大小的滾動窗口。
#3.數(shù)據(jù)處理
select 
user_id,
count(*) as pv,
    sum(price) as sum_price,
UNIX_TIMESTAMP(CAST(tumble_start(row_time, interval '5' second) AS STRING)) * 1000  as window_start,
UNIX_TIMESTAMP(CAST(tumble_end(row_time, interval '5' second) AS STRING)) * 1000  as window_end
from source_table
group by
    user_id,
    tumble(row_time, interval '5' second);

到此這篇關(guān)于MySQL Flink實(shí)時(shí)流處理的核心技術(shù)之窗口機(jī)制的文章就介紹到這了,更多相關(guān)MySQL Flink窗口機(jī)制內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: