Привет, А есть какой-нибудь адекватный способ считать длительности цепочек событий? Допустим, есть

Question

Привет, А есть какой-нибудь адекватный способ считать длительности цепочек событий? Допустим, есть

у меня таблица (ts, session_id, event (START/SOMETHING/END))
и я хочу посчитать среднюю по больнице (среднее время между START-END внутри одной сессии, например)

есть ли какой-нибудь изящный способ это сделать? пока думал над следующими вариантами:
* запилить адовую аггрегацию с array-функциями и group by csid - не хватает оперативки
* запилить SummingMergeTree (csid, ts_buffer, counter), по событию START вставлять туда (csid, ts, 1), по событию END вставлять туда (csid, -ts, 1). Вроде должно работать очень быстро, но тут не ясно, что делать, когда counter%2!=0 (придется отбрасывать все данные, даже если там какие-то другие есть)

#backend #clickhouse #database #devops #programming #russian

0

10.03.2021

11 ответов

17 просмотров

Aleksei Kh Автор вопроса

Denny [Altinity]
и что у session_id всегда одна пара start stop ?

может быть несколько

0

10.03.2021

Denny [Altinity]

Aleksei Kh
может быть несколько

тогда только запросы с массивами

0

10.03.2021

Aleksei Kh Автор вопроса

Denny [Altinity]
тогда только запросы с массивами

адъ, но спасибо

0

10.03.2021

Denny [Altinity]

Aleksei Kh
адъ, но спасибо

ну так а например как вы такое сделате в mysql ? или pg? или кассандре? надо данные готовить а не бездумно пихать все в базу в непригодном для запросов виде

0

10.03.2021

Aleksei Kh Автор вопроса

Denny [Altinity]
ну так а например как вы такое сделате в mysql ? и...

сейчас что-то такое делает адовая куча сервисов, которая делает это все в памяти :) там и scylla, и elasticsearch. по всем пунктам согласен, этого в принципе и добиваюсь

0

10.03.2021

Aleksei Kh Автор вопроса

Denny [Altinity]
тогда только запросы с массивами

так, а если может быть только одна пара событий - есть решение эффективнее?

0

10.03.2021

Denny [Altinity]

Aleksei Kh
так, а если может быть только одна пара событий - ...

session_id, minIf(event=start) b, maxIf(event=stop) e , e-b group by session_id

0

10.03.2021

Aleksei Kh Автор вопроса

Denny [Altinity]
session_id, minIf(event=start) b, maxIf(event=stop...

ну в принципе мой вариант для нескольких пар событий через sumIf(±ts) практически так же работает. только будут проблемы, если будет много непарных событий. думаю, жить можно

0

10.03.2021

Aleksei Kh Автор вопроса

Aleksei Kh
ну в принципе мой вариант для нескольких пар событ...

хотя можно поверх запилить anyLastIf(counter%2==0, sum)

0

10.03.2021

Aleksei Kh Автор вопроса

вот кстати deltaSum появился еще, как будто бы сам просил

0

12.03.2021