Добрый день. Подскажите, есть ли возможность сделать MV в AggMT

Question

Добрый день. Подскажите, есть ли возможность сделать MV в AggMT

таблицу при инсертах в source таблицу без потери консистентности? Или тормозить вставки, собирать агрегат и запускать вставки?

#backend #clickhouse #database #devops #programming #russian

0

23.09.2021

11 ответов

24 просмотра

Clir Автор вопроса

Slach [altinity]
она итак консистентность там будет аггрегат в Agg...

как оно будет консистентным, если MV-триггер на инсерт. Пример, создана MV, далее я беру и заполняю таблицу, которая находится в TO без фильтров на то, что уже попало в TO. Разве суммы/количества не задвоятся?

0

23.09.2021

Slach [altinity]

Clir
как оно будет консистентным, если MV-триггер на ин...

а зачем так делать? заполняйте только таблицу которая в FROM для MV написана... а destination таблицу которая в TO пусть заполняет триггер MV

0

23.09.2021

Clir Автор вопроса

Slach [altinity]
а зачем так делать? заполняйте только таблицу кот...

мне надо исторические данные же сохранить, MV начнет писать только новые, а мне старые тоже нужно пересобрать в агрегат.

0

23.09.2021

Slach [altinity]

Clir
мне надо исторические данные же сохранить, MV начн...

исторические данные у вас сейчас в каком движке? MergeTree? или уже в AggregatingMergeTree?

0

23.09.2021

Clir Автор вопроса

Slach [altinity]
исторические данные у вас сейчас в каком движке? M...

они в source таблице, MergeTree.

0

23.09.2021

Clir Автор вопроса

Clir
они в source таблице, MergeTree.

в общем в любом случае, если нужна историчность, на ходу это безопасно не сделать, только останавливать заливку в source

0

23.09.2021

Slach [altinity]

Clir
в общем в любом случае, если нужна историчность, н...

у вас должно быть поле по которому четко можно определить "вот новые данные" назовем его import_counter в лучшем случае монотонно восрастающий snowflake id UInt64 в худшем случае datetime64(6) как DEFAULT now() который означает время импорта в source таблицу дальше делаете так создаете AggregatingMergeTree - aggregateed_table SELECT max(import_counter) FROM source_table сохраняем импортируем source таблицу по частям если большая INSERT INTO aggregated_table SELECT .. FROM source_table WHERE import_counter BETWEEN ... AND ... GROUP BY ... создаем новую таблицу с той же структурой что текущая CREATE new_source_table LIKE source_table создаем MaterializedView CREATE MATERIALZIED VIEW mv TO aggregated_table SELECT ... State(x) FROM new_source_table GROUP BY ... переключаем вставку на new_source_table довставляем дельту INSERT INTO aggregated_table SELECT .. FROM source_table WHERE import_counter > max_counter_from_previous_step GROUP BY ...

0

23.09.2021

Clir Автор вопроса

Slach [altinity]
у вас должно быть поле по которому четко можно опр...

Да, спасибо, по такому алгоритму уже и делали, просто и вопрос заключался в том, чтобы не переключать вставку совсем. Такое в текущей реализации, к сожалению, не получится. Будем останавливать.

0

23.09.2021

Denny [Altinity]

можно настроить КХ и создать MV таким образом чтобы при повторных вставках (ретраях инсертов) все довставлялось в MV (по умолчанию это выключено и я уже устал объяснять почему)

0

23.09.2021

Denny [Altinity]

Clir
в общем в любом случае, если нужна историчность, н...

конечно сделать, без остановки можно, миллион способов

0

23.09.2021

Slach [altinity] · Accepted Answer

она итак консистентность там будет аггрегат в AggregatingMergeTree не финализирован, там только State необходимый для финальной аггрегации доку еще раз перечитайте, пожалуйста https://clickhouse.com/docs/en/engines/table-engines/mergetree-family/aggregatingmergetree/#example-of-an-aggregated-materialized-view

184 похожих чатов

Добрый день. Подскажите, есть ли возможность сделать MV в AggMT

11 ответов

Похожие вопросы