Всем, привет! Появилась необходимость уменьшить TTL у тяжелой таблицы, заодно хотелось

Question

Всем, привет! Появилась необходимость уменьшить TTL у тяжелой таблицы, заодно хотелось

посмотреть как отработает удаление старых данных. Вчера сделал alter table on cluster name MODIFY TTL. Самое собой запрос сказал, что превышен timeout. Проверил zk в ddl задачка висит, TTL в таблицах поменялась, мутация появилась. Прошел день смотрю мутация все висит, мерджей дополнительных не вижу, в zk задача так же висит, а место не освободилось, старые данные так же спокойно живут. Так как чистить нужно было срочно, кильнул мутацию(попытался), в итоге перезапустил кластер и тогда только смогу убить данную мутацию, удалил drop данные и оставил не пару дней для проверки TTL. Как теперь запустить принудительно TTL, через optimiz final ? Как можно было сделать alter ttl, чтобы не пришлось плясать с бубном?

#backend #clickhouse #database #devops #programming #russian

0

28.09.2021

9 ответов

26 просмотров

Romul87 Автор вопроса

Denny [Altinity]
set materialize_ttl_after_modify=0; ALTER TABLE ta...

Блин я уже запустил optimize 😩 На сколько это плохо? А что значит MATERIALIZE TTL ?

0

28.09.2021

Denny [Altinity]

Romul87
Блин я уже запустил optimize 😩 На сколько это плох...

>лин я уже запустил optimize 😩 На сколько это плохо? ну по всякому бывает, если таблица 2 петабайта, то вас уволят я думаю, ну или закопают. >А что значит MATERIALIZE TTL ну это в доку.

0

28.09.2021

Romul87 Автор вопроса

Denny [Altinity]
>лин я уже запустил optimize 😩 На сколько это плох...

12 Tб :). Вот теперь понять сколько это будет работать по времени и нельзя ли это как то остановить

0

28.09.2021

Denny [Altinity]

Romul87
12 Tб :). Вот теперь понять сколько это будет рабо...

и как запустили? optimize table T final ?

0

28.09.2021

Romul87 Автор вопроса

Denny [Altinity]
и как запустили? optimize table T final ?

да

0

28.09.2021

Denny [Altinity]

Romul87
да

соболезную вам и вашей семье.

0

28.09.2021

Romul87 Автор вопроса

Denny [Altinity]
соболезную вам и вашей семье.

Это пугает :(

0

28.09.2021

Romul87 Автор вопроса

Denny [Altinity]
set materialize_ttl_after_modify=0; ALTER TABLE ta...

Optimize пробежался, но старые данные не почистил. Вашими командами прошел по партициям данные удалились, а вот сами партии не удалились и я вижу их в таблице parts. Причем по ним active 1. Так и должно быть ? Как теперь понять что TTL работает? Если у меня стоит неделя, то я вижу отработку TTL только через неделю по удалению данных которые прилетели после alter table TTL ?

0

29.09.2021

Denny [Altinity] · Accepted Answer

Denny [Altinity]

set materialize_ttl_after_modify=0; ALTER TABLE table modify TTL ttl_date -- then if you need MATERIALIZE TTL ALTER table ... MATERIALIZE TTL in partition ... ALTER table ... MATERIALIZE TTL in partition ...

0

28.09.2021

184 похожих чатов

Всем, привет! Появилась необходимость уменьшить TTL у тяжелой таблицы, заодно хотелось

9 ответов

Похожие вопросы