Коллеги, подскажите пожалуйста, как на самом деле происходит агрегация данных

Question

Коллеги, подскажите пожалуйста, как на самом деле происходит агрегация данных

в AggregatingMergeTree
Есть цепочка агрегации:
source->table1->table2

У table1 ORDER BY (user, item, date, shop, variant)
У table2 ORDER BY (item, date, user)
Во вторую таблицу должен попасть max по аггрегируемому полю Stock

Делаем инсерт в 1ю таблицу, имеем разные записи с полем Stock равным как 1, так и 0. Время вставленных записей одинаковое
Во вторую таблицу должна попасть одна запись, со Stock=1, в соответствии с запросом внутри MV
Но попадает два блока, с разным временем вставки, как я понимаю происходит сортировка при инсерте и пишется несколько блоков
одна запись с Stock=1 и одна с Stock=0

При select я получаю верное значение select max(Stock) = 1

Это нормальное поведение при аггрегации, или я где-то ошибся в написании MV или конфигурации таблицы?

#backend #clickhouse #database #devops #programming #russian

0

17.08.2023

4 ответов

10 просмотров

Чилийский Бизон Автор вопроса

Dmitry [Altinity] Titov
Mv в кликхаусе эт inser trigger он видит только ...

Я понимаю. Полагал, что раз данные в первую таблицу вставляются одним батчем, то и во вторую они уйдут так же А у них разное время вставки по факту, значит агрегация применяется не ко всей вставке, а только к вставляемому блоку

0

9 месяцев назад

Dmitry [Altinity] Titov

Чилийский Бизон
Я понимаю. Полагал, что раз данные в первую таблиц...

Да, ток блоки там в 1 млн строк или у вас вставки еще больше

0

9 месяцев назад

Чилийский Бизон Автор вопроса

Dmitry [Altinity] Titov
Да, ток блоки там в 1 млн строк или у вас вставки ...

полтора миллиона был батч, на котором я такое расхождение начал получать через Insert into from select

0

9 месяцев назад