Всем привет. Нормальной ли является практика optimize table deduplicate ~

Question

Всем привет. Нормальной ли является практика optimize table deduplicate ~

раз в 10 минут на 5 объектах +- одновременно. Объекты относительно небольшие/различные от 50к записей до 100кк записей. Какие существуют workaround, в случае, если это плохая пратика?

#backend #clickhouse #database #devops #programming #russian

0

05.10.2023

7 ответов

30 просмотров

Zakhar Leshnevsky Автор вопроса

Slach [altinity]
ну если 100кк это 100 000 000 записей. то нет если...

Спасибо за ответ. Final же все равно не гарантирует уникальности? Мы тестили и если в разных партициях (вроде как) лежит одинаковый ключ, то он никогда не смерджится. Но я могу ошибаться.

0

05.10.2023

Slach [altinity]

Zakhar Leshnevsky
Спасибо за ответ. Final же все равно не гарантируе...

FINAL как раз и ганартирует уникальность... жертвуя от 5 до 15% потерей скорости..

0

05.10.2023

Slach [altinity]

Zakhar Leshnevsky
Спасибо за ответ. Final же все равно не гарантируе...

про разные партиции. это регулируется специальной настройкой do_not_merge_across_partitions_select_final https://kb.altinity.com/altinity-kb-queries-and-syntax/altinity-kb-final-clause-speed/ https://kb.altinity.com/altinity-kb-queries-and-syntax/altinity-kb-optimize-vs-optimize-final/ https://kb.altinity.com/engines/mergetree-table-engine-family/merge-performance-final-optimize-by/ https://kb.altinity.com/altinity-kb-setup-and-maintenance/timeouts-during-optimize-final/ https://kb.altinity.com/engines/mergetree-table-engine-family/collapsing-vs-replacing/

0

05.10.2023

Zakhar Leshnevsky Автор вопроса

Slach [altinity]
про разные партиции. это регулируется специальной ...

ага, спасибо большое

0

05.10.2023

Igor Voltaic

Zakhar Leshnevsky
Спасибо за ответ. Final же все равно не гарантируе...

Могу ещё предложить, что у вас ключи шардирования не настроены

0

05.10.2023

Slach [altinity]

Igor Voltaic
Могу ещё предложить, что у вас ключи шардирования ...

ключи шардирования вообще никакого отношения не имеют к SELECT ... FINAL ... это для Distributed таблицы... и они при SELECT вообще не используются, только при INSERT в engine=Distirbuted

0

05.10.2023

Slach [altinity] · Accepted Answer

ну если 100кк это 100 000 000 записей. то нет если максимум 100k записей в таблице то есть на 5 таблиц 500k записей... то терпимо. но зависит от того какие у вас диски, какая еще при этмо нагрузка идет и какие требования к latency запросов в момент когда идет OPTIMIZE это нагрузка на диски + CPU + ram (потому что для дедупликации строится хеш таблица) нормальная практика это сделать нормальный ORDER BY и ReplacingMergeTree и делать SELECT ... FROM table FINAL ..

184 похожих чатов

Всем привет. Нормальной ли является практика optimize table deduplicate ~

7 ответов

Похожие вопросы