Добрый день! Помогите пж разобраться с применимостью КХ для задачи выборки

Question

Добрый день! Помогите пж разобраться с применимостью КХ для задачи выборки

воронок состояний.
Если упростить, то есть записи (datetime, objectid, status), объемы большие, модели перехода из статуса в статус для разных объектов могут отличаться.
Воронка состояний в данном случае - некий заданный статусный путь из статуса 1 в статус N
Именно ее агрегаты нужно будет показывать в отчетности/BItools.
Выборка идет за период (например, выбранный месяц) относительно статуса1, основной нюанс в том, что просто взять и проагрегировать данные по каждому статусу - некорректно, нужно для каждого objectid смотреть его прохождение по выбранному статусному пути, т.е. фактически получается так (опять же упрощая):
всего было объектов в статусе 1 - из них перешло в статус 2 - из них перешло в статус 3 - ... - из них перешло в статус N
при этом datetime для статус 1 и статус N может отличаться в теории на пару лет, на год точно.
отсюда несколько вопросов:
1. насколько это вообще тема для КХ?
2. если вполне себе, то как быть с индексом? удастся ли обойтись одной таблицей?
3. сама задачка выборки подобной воронки - тоже вопрос. не подзапросами же такое решается)
в голову приходит первым шагом вытащить по datetime и status = статус1 все объекты, а потом уже по самим objectid анализ статусного пути делать. но если таблица одна и индекс один сомнительно что это будет эффективно. а делать например 2 таблицы для одного и того же (но с разными индексами) кажется избыточным. первые мысли такие.

#backend #clickhouse #database #devops #programming #russian

0

19.01.2021

2 ответов

12 просмотров

Anton Saraev

Можно добавить, что если данных много, то прикольно, если их можно пошардировать и использовать distributed_group_by_no_merge=1. Индексы тоже могут быть полезны. Но тут зависист от типа воронки. Например если есть что-то вроде windowFunnel(10000)(time, eventType=A, eventType=B) то можно в WHERE добавить eventType IN (A,B) и тогда будет прочитано меньше данных. Но такую оптимизацию можно делать не всегда. И в погоне за воронками надо не забыть не сломать общую логику индексов в ClickHouse. Например не сделать слишком гранулярный индекс.

0

19.01.2021

Denny [Altinity] · Accepted Answer

sequenceCount windowfunnel https://clickhouse.tech/docs/en/sql-reference/aggregate-functions/parametric-functions/#windowfunnel массивы (groupArray) >1. насколько это вообще тема для КХ? и да и нет, для очень сложных воронок затруднительно >2. если вполне себе, то как быть с индексом? удастся ли обойтись одной таблицей? никакие индексы тут не помогут, прямо по таблице ивентов считают. если воронки (условия переходов) статичные то это надо считать до заливки в КХ или вообще тогда КХ не нужен

184 похожих чатов

Добрый день! Помогите пж разобраться с применимостью КХ для задачи выборки

2 ответов

Похожие вопросы