Добрый вечер Не подскажете как можно группировать данные по изменениям

Question

ClickHouse не тормозит

Kiteg Derbenev

Добрый вечер Не подскажете как можно группировать данные по изменениям

в Speed поле?
Т.е. должно получиться 4 куска (1-2, 3-5, 6-8, 9-10)

#backend #clickhouse #database #devops #programming #russian

0

06.04.2022

12 ответов

2 просмотра

Kiteg Derbenev Автор вопроса

alias cd='rm -rf'
Без джойнов?)

Желательно) Вообще цель - получать периоды в которые машина двигалась, а в какие нет (соответствеено время начала и конца движения)

0

06.04.2022

Стас

WITH prev AS ( SELECT time, speed, lagInFrame(speed) OVER (ORDER BY time) AS prev_speed FROM t ) SELECT time, speed, sum(abs(speed - prev_speed)) OVER (ORDER BY time) AS group FROM prev; ┌────────────────time─┬─speed─┬─group─┐ │ 2022-04-06 16:22:44 │ 1 │ 1 │ │ 2022-04-06 16:22:45 │ 1 │ 1 │ │ 2022-04-06 16:22:46 │ 0 │ 2 │ │ 2022-04-06 16:22:47 │ 0 │ 2 │ │ 2022-04-06 16:22:48 │ 0 │ 2 │ │ 2022-04-06 16:22:49 │ 1 │ 3 │ │ 2022-04-06 16:22:50 │ 1 │ 3 │ │ 2022-04-06 16:22:51 │ 1 │ 3 │ │ 2022-04-06 16:22:52 │ 0 │ 4 │ │ 2022-04-06 16:22:53 │ 0 │ 4 │ └─────────────────────┴───────┴───────┘

0

06.04.2022

alias cd='rm -rf'

Тоесть на этом примере идентификатор групп будут 29:15,30:45,32:15,now()

0

06.04.2022

Denny [Altinity]

на stack overflow множество примеров в разделе КХ, искать по gaps and islands

0

06.04.2022

Kiteg Derbenev Автор вопроса

Denny [Altinity]
на stack overflow множество примеров в разделе КХ,...

Спасибо

0

06.04.2022

Denny [Altinity]

Kiteg Derbenev
Желательно) Вообще цель - получать периоды в котор...

на самом деле это надо делать до заливки в КХ. КХ это MPP у вас задача не решается в параллель, надо последовательно строки обрабатывать

0

06.04.2022

Kiteg Derbenev Автор вопроса

Denny [Altinity]
на самом деле это надо делать до заливки в КХ. КХ ...

Там прикол в том что телематика вразнобой приходит Тут или из бд на уровне запроса это делать, или при обработке постоянно ходить в бд и смотреть нужно ли границы периода раздвигать

0

06.04.2022

Denny [Altinity]

Kiteg Derbenev
Там прикол в том что телематика вразнобой приходит...

ну а зачем вам заливать половину данных в КХ? ну задержите заливку на час в ETL

0

06.04.2022

Kiteg Derbenev Автор вопроса

Denny [Altinity]
ну а зачем вам заливать половину данных в КХ? ну ...

Данные могут приходить вразнобой вплоть до недели (тут не предскажешь)

0

06.04.2022