184 похожих чатов

Всем привет. Подскажите, а есть ли возможность для ReplcaingMT /

CollpasingMT сделать некоторый аналог hot-cold storage, как в apache pinot, чтоб данные к примеру месячной давности игнорировались FINAL'ом? Чтоб грубо говоря FINAL на лету склеивал данные только за последний месяц / неделю, а остальное как в обычном MT

С ходу подумал про две таблицы, UNION'ы и прочее, но возможно такое можно сделать нативно?

11 ответов

9 просмотров

Можно с помощью prewhere выгребать данные за нужный промежуток до применения final

Stranger- Автор вопроса
Danny
Можно с помощью prewhere выгребать данные за нужны...

SELECT * FROM table FINAL PREWHERE ts > 'today_minus_30_days' UNION ALL SELECT * FROM table PREWHERE ts < 'today_minus_30_days' Типо такого?

Stranger
SELECT * FROM table FINAL PREWHERE ts > 'today_min...

Типа того, во второй части запроса можно просто where. Но с prewhere нужно быть аккуратным, в нем можно фильтровать только по полям, значения которых одинаковы для всех версий строк, иначе final некорректно схлопнет выбранные строки

Stranger- Автор вопроса
Danny
Типа того, во второй части запроса можно просто wh...

Понял, у меня ts входит в ключ сортировки, так что он точно будет одинаковым. Я правильно понял что лучшее решение? Просто по факту мне прийдется переписать все тяжелые запросы под подобный UNION, а делать обычный View будет явно ошибкой

Stranger- Автор вопроса
Danny
Не факт, что лучшее, нужно проверять

а флаг prefer_not_to_merge мне не поможет, верно?

Stranger- Автор вопроса
Danny
Не факт, что лучшее, нужно проверять

Я правильно понял, что сам CH мне с этой историей помочь не может?

Stranger
Я правильно понял, что сам CH мне с этой историей ...

Можно еще попробовать сеттинг min_age_to_force_merge_seconds и выгребать все одним селектом с final. Но не факт, что мерджи закончатся к моменту запроса

Stranger- Автор вопроса
Danny
Можно еще попробовать сеттинг min_age_to_force_mer...

А если остановиться на варианте с двумя SELECT'ами, то лучше оставить это в рамках одной таблички, или сделать две, что было типо? SELECT * FROM hot FINAL .... UNION ALL SELECT * FROM cold И переносить данный cron'ом Тогда не надо париться о PREWHERE... хотя может есть и подводные камни

Stranger
А если остановиться на варианте с двумя SELECT'ами...

Если партиций много, то сильно помогает settings do_not_merge_across_partitions_select_final = 1

Stranger- Автор вопроса
Danny
Можно еще попробовать сеттинг min_age_to_force_mer...

Доброй ночи еще раз, подскажите, а как адекватно оценить - может быть мне просто делать мутации через ALTER UPDATE ? Может быть есть какие-то формулы или примерные метрики, по которым можно понять насколько "адекватно" использования мутаций, или же делать более сложные схемы (с FINAL, скеливанием и тд)

Похожие вопросы

Обсуждают сегодня

Доброй ночи. Вопрос знатокам. Имеется некая таблица, результат которой выведен в DBGrid на форме. И есть форма, с помощью которой можно как добавить запись, так и отредактиров...
Евгений
27
а всё почему? потому что ассемблер в отличии от яву порождает множество пагубных привычек, среди которых например можно отметить использование глобальных переменных для всего ...
Mixail Frolov
35
Всем привет 👋 Подскажите пожалуйста, а чего тут не хватает permission или образ битый? Running with gitlab-runner 17.0.0 (44feccdf) on gitlab-runner-c58775949-d7znz YxYz2zp...
Max
2
анрей С какой целью зашёл?
КТ315
42
Кто нибудь из участников чата пишет на ассемблере под GNU/Linux?
Spiker01
24
я часов 15 назад начал пытаться написать хоть что-то напоминающее ос и у меня есть проблема, которую я пытаюсь решить последние часов 5: есть крч 2 исходника с минимальным код...
Al1to
17
Всем привет ребят! Мб кто-то сталкивался? adminСomponents .get("searchСomponents", use: searchComponents) .openAPI( summary: ...
Admin Adminov
2
Кстати вопрос. Проанализировав свои проекты я понял, что в наиболее ценных из них Асм использовался для организации real-time процессов (внутри DOS). А какие есть способы сего...
Alexander Morozov
18
Я не очень много работал с потоками, тут возник вопрос - если будет одновременный доступ к памяти из двух разных потоков, это само по себе приведет к ошибке?
The Bird of Hermes
25
Насколько моя реализация Exercise 1 плохая? data MessageType = Info | Warning | Error Int deriving (Show, Eq) type TimeStamp = Int data LogMessage = LogMessage ...
= ?
6
Карта сайта