Всем привет. Подскажите, а есть ли возможность для ReplcaingMT /

Question

Всем привет. Подскажите, а есть ли возможность для ReplcaingMT /

CollpasingMT сделать некоторый аналог hot-cold storage, как в apache pinot, чтоб данные к примеру месячной давности игнорировались FINAL'ом? Чтоб грубо говоря FINAL на лету склеивал данные только за последний месяц / неделю, а остальное как в обычном MT

С ходу подумал про две таблицы, UNION'ы и прочее, но возможно такое можно сделать нативно?

#backend #clickhouse #database #devops #programming #russian

0

15.07.2023

11 ответов

8 просмотров

Stranger Автор вопроса

Danny
Можно с помощью prewhere выгребать данные за нужны...

SELECT * FROM table FINAL PREWHERE ts > 'today_minus_30_days' UNION ALL SELECT * FROM table PREWHERE ts < 'today_minus_30_days' Типо такого?

0

11 месяцев назад

Danny

Stranger
SELECT * FROM table FINAL PREWHERE ts > 'today_min...

Типа того, во второй части запроса можно просто where. Но с prewhere нужно быть аккуратным, в нем можно фильтровать только по полям, значения которых одинаковы для всех версий строк, иначе final некорректно схлопнет выбранные строки

0

11 месяцев назад

Stranger Автор вопроса

Danny
Типа того, во второй части запроса можно просто wh...

Понял, у меня ts входит в ключ сортировки, так что он точно будет одинаковым. Я правильно понял что лучшее решение? Просто по факту мне прийдется переписать все тяжелые запросы под подобный UNION, а делать обычный View будет явно ошибкой

0

11 месяцев назад

Danny

Stranger
Понял, у меня ts входит в ключ сортировки, так что...

Не факт, что лучшее, нужно проверять

0

11 месяцев назад

Stranger Автор вопроса

Danny
Не факт, что лучшее, нужно проверять

а флаг prefer_not_to_merge мне не поможет, верно?

0

11 месяцев назад

Stranger Автор вопроса

Danny
Не факт, что лучшее, нужно проверять

Я правильно понял, что сам CH мне с этой историей помочь не может?

0

11 месяцев назад

Danny

Stranger
Я правильно понял, что сам CH мне с этой историей ...

Можно еще попробовать сеттинг min_age_to_force_merge_seconds и выгребать все одним селектом с final. Но не факт, что мерджи закончатся к моменту запроса

0

11 месяцев назад

Stranger Автор вопроса

Danny
Можно еще попробовать сеттинг min_age_to_force_mer...

А если остановиться на варианте с двумя SELECT'ами, то лучше оставить это в рамках одной таблички, или сделать две, что было типо? SELECT * FROM hot FINAL .... UNION ALL SELECT * FROM cold И переносить данный cron'ом Тогда не надо париться о PREWHERE... хотя может есть и подводные камни

0

11 месяцев назад

Sergey Churin

Stranger
А если остановиться на варианте с двумя SELECT'ами...

Если партиций много, то сильно помогает settings do_not_merge_across_partitions_select_final = 1

0

11 месяцев назад

Stranger Автор вопроса

Danny
Можно еще попробовать сеттинг min_age_to_force_mer...

Доброй ночи еще раз, подскажите, а как адекватно оценить - может быть мне просто делать мутации через ALTER UPDATE ? Может быть есть какие-то формулы или примерные метрики, по которым можно понять насколько "адекватно" использования мутаций, или же делать более сложные схемы (с FINAL, скеливанием и тд)

0

11 месяцев назад

Danny · Accepted Answer

Danny

Можно с помощью prewhere выгребать данные за нужный промежуток до применения final

0

11 месяцев назад

184 похожих чатов

Всем привет. Подскажите, а есть ли возможность для ReplcaingMT /

11 ответов

Похожие вопросы