Доброго времени суток всем пользователям кликхауса! Я счастлив, что нашел

этот канал, потому что уже не знаю, что гуглить для решения своей задачи) Я не очень опытен с кх (пара-тройка месяцев), поэтому плохо ориентируюсь в доке, поэтому буду рад любым советам!

Моя задача:
Существует таблица (raw), в которой есть ежедневные данные товаров
Необходимо создать таблицу, в которой будут аггрегированные данные то товарам за последние 30 дней materialized view
Идея в том, чтобы при вставке строки в raw материализованное представление обновлялось в соответствии с новыми данными
аггрегация состоит из anyLast, countIf, sum

не получается это сделать, так как в интернете очень мало информации об этом и в документации для materialized view вообще нет юзкейсов

как вообще организовать хранение аггрегированных данных по исходникам только за последний час/день/неделю/месяц/год итд?

anyLast не детерменированная функция, ИМХО лучше какой-нибудь argMax c timestamp

рекомендую ещё ознакомиться с этим материалом https://youtu.be/1LVJ_WcLgF8?list=PLO3lfQbpDVI-hyw4MyqxEk3rDHw95SzxJ&t=7597 https://den-crane.github.io/Everything_you_should_know_about_materialized_views_commented.pdf

Вы наверное делаете MV не просто так, а чтобы ускорить какой-то запрос? Сколько времени у вас идет запрос по raw data? С какими order by / partition by ? На каких дисках? Правильно ли работает prewhere ? Может можно обойтись и без сложностей с MV? Однако если у вас приходит миллиард записей за 30 дней, и нужно делать аггрегаты по 100 колонкам, то конечно без MV не обойтись. В этом случае в MV стоит положить аггрегированные записи по дням. Получится 30 строк. И вот по этим строкам вы и сделаете финальную аггрегацию в своем запросе - это будет быстро. Можно аггрегировать за 30 дней, можно за год по месяцам - как угодно. Никаких TTL тут не нужно. anyLast & sum & countIf проблем не создатут при таком подходе.

Добрый день, спасибо за содержательный ответ в raw таблице уже хранятся данные по дням (6-12млн уникальных товаров каждый день) -> 200-300 млн строк на запрос (~5-6c) например, артикул, категория, дата (yyyy-mm-dd), цена, продано, выручка, остаток PARTITION BY toMonday(date), ORDER BY (date, category, article) задача состоит в том, чтобы получить список артикулов по фильтрам от до: цена, объем продаж за месяц (сегодня - 30 дней), объем выручки за месяц (сегодня - 30 дней), количество дней, когда товар был в продаже за месяц (сегодня - 30 дней), упущенная выручка за месяц (сегодня - 30 дней) то есть выходит что: исходные данные находятся в предаггрегатном состоянии период анализа плавающий (смещение на день) в идеальном случае необходимо довести 200-300млн строк за 30 дней к 8-12 млн строкам, где артикул и статистика за последние 30 дней, чтобы по ним сделать быструю выборку — next step is filtering result by range conditions WITH date_sub(DAY, 30, today()) AS dateMonthAgo, date_diff(MONTH, dateMonthAgo, today()) AS period, count(remain > 0) AS daysInStock, sum(sold * salePromoPrice) AS periodRevenue SELECT -- get aggregated filter values article, sum(sold) AS periodSold, periodRevenue, argMax(feedbackCount, date) AS reviewsCount, argMax(salePromoPrice, date) AS finalPrice, daysInStock, periodRevenue / daysInStock * period AS periodLostProfit FROM prod.big_article_stats WHERE date >= dateMonthAgo GROUP BY article

сходу меняем : - PARTITION BY toMonday(date), ORDER BY (date, category, article) на - PARTITION BY toYYYYMM(date), ORDER BY (category, article, date) или ORDER BY (article, category, date) почему так - устали объяснять, ищите в истории канала. после этого смотрим на скорость - должно полегчать на секунду-другую. Пробуем optimize_aggregation_in_order - может будет лучше, а может и нет. Если мало, то делаем в MV аггрегаты за 1 день (group by day, article) , и уже по ним гоняем финальный group by article

хорошо, а движок mv какой использовать?

aggregating - вы же хотите, чтобы все последовательные вставки собрались в дневные аггрегаты