滾動視窗(TUMBLE)将每個元素配置設定到一個指定大小的視窗中。通常滾動視窗有一個固定的大小,并且不會出現重疊。
例如:如果指定了一個5分鐘大小的滾動視窗,無限流的資料會根據時間劃分成[0:00 - 0:05), [0:05, 0:10), [0:10, 0:15),… 等視窗。如下圖,展示了一個大小劃分為30秒的滾動視窗。

TUMBLE函數用在GROUP BY子句中,用來定義滾動視窗。
-
TUMBLE(<time-attr>, <size-interval>)
-
<size-interval>: INTERVAL 'string' timeUnit
<time-attr>
參數必須是流中的一個合法的時間屬性字段,指定 processing time 或是 event time。
您可以參考
時間屬性章節,了解如何定義時間屬性和watermark。
辨別函數
使用辨別函數選出視窗的起始時間或者結束時間,視窗的時間屬性用于下級window的聚合。
視窗辨別函數 | 傳回類型 | 描述 |
---|---|---|
TUMBLE_START(time-attr, size-interval) | Timestamp | 傳回視窗的起始時間(包含邊界)。如[00:10, 00:15) 的視窗,傳回 00:10 。 |
TUMBLE_END(time-attr, size-interval) | 傳回視窗的結束時間(包含邊界)。如[00:00, 00:15] 的視窗,傳回 00:15。 | |
TUMBLE_ROWTIME(time-attr, size-interval) | Timestamp(rowtime-attr) | 傳回視窗的結束時間(不包含邊界)。如 [00:00, 00:15] 的視窗,傳回 。傳回值是一個 rowtime attribute,即可以基于該字段做時間類型的操作,如級聯視窗。 |
統計每個使用者每分鐘的點選次數。
-
CREATE TABLE user_clicks(
-
username varchar,
-
click_url varchar,
-
ts timeStamp,
-
WATERMARK wk FOR ts as withOffset(ts, 2000) -- 為rowtime定義watermark
-
) with (
-
type='datahub',
-
...
-
);
-
CREATE TABLE tumble_output(
-
window_start TIMESTAMP,
-
window_end TIMESTAMP,
-
username VARCHAR,
-
clicks BIGINT
-
) with (
-
type='RDS'
-
);
-
INSERT INTO tumble_output
-
SELECT
-
TUMBLE_START(ts, INTERVAL '1' MINUTE),
-
TUMBLE_END(ts, INTERVAL '1' MINUTE),
-
username,
-
COUNT(click_url)
-
FROM window_input
-
GROUP BY TUMBLE(ts, INTERVAL '1' MINUTE), username
測試資料
username (VARCHAR) | click_url (VARCHAR) | ts (TIMESTAMP) |
---|---|---|
Jark | http://taobao.com/xxx | 2017-10-10 10:00:00.0 |
2017-10-10 10:00:10.0 | ||
2017-10-10 10:00:49.0 | ||
2017-10-10 10:01:05.0 | ||
2017-10-10 10:01:58.0 | ||
Timo | 2017-10-10 10:02:10.0 |
測試結果
window_start (TIMESTAMP) | window_end (TIMESTAMP) | clicks (BIGINT) | |
---|---|---|---|
2017-10-10 10:01:00.0 | 3 | ||
2017-10-10 10:02:00.0 | 2 | ||
2017-10-10 10:03:00.0 | 1 |
本文轉自實時計算——
滾動視窗