Всем привет, а как то можно ограничить время жизни метрик? Есть

Question

Всем привет, а как то можно ограничить время жизни метрик? Есть

таблица system.asynchronous_metric_log в которой полтора миллиарда записей. Я так понимаю что КХ туда пишет собственно метрики.
Можно ли как то сказать КХ что храни метрики допустим за неделю.
И такой же вопрос по остальным системным таблицам, например system.query_log и т.д?

#backend #clickhouse #database #devops #programming #russian

0

18.11.2021

14 ответов

42 просмотра

tg usr Автор вопроса

Clir
TTL? TTL event_date + INTERVAL 7 DAY

Почитал, спасибо, похоже то что надо, на системные таблицы тоже его можно ставить и это не должно вызвать никаких проблем?

0

18.11.2021

Clir

tg usr
Почитал, спасибо, похоже то что надо, на системные...

да, можно ставить

0

18.11.2021

tg usr Автор вопроса

Clir
да, можно ставить

Спасибо!

0

18.11.2021

Clir

tg usr
Спасибо!

а вообще зачем вам эта таблица?

0

18.11.2021

Clir

tg usr
Спасибо!

и кстати там с 21.8 версии КХ вроде стал чаще писать в эту таблицу, возможно из-за этого проблема еще, была настройка, которая выставляла кол-во секунд между записями

0

18.11.2021

tg usr Автор вопроса

Clir
а вообще зачем вам эта таблица?

Зачем менять ее TTL или зачем она мне вообще? Зачем вообще я пока не знаю 😊 создалась автоматом при поднятии КХ. Я так понимаю что из нее берутся метрики для какого нить промитиуса? Или я ошибаюсь? Обратил внимание что в логах постоянно работа с партами этой таблицы, проверил, там, как говорил выше полтора миллиарда записей, фактически с момента поднятия КХ, почти месячной давности. Старые метрики насколько я понимаю бесполезны, то ж решил что надо как то ограничить.

0

18.11.2021

Clir

tg usr
Зачем менять ее TTL или зачем она мне вообще? Заче...

У меня заббикс берет данные из asynchronous_metrics, то есть это текущие и по ним все строит. А лог мне и не нужен. У меня такая проблема была с query_thread_log. Были частые вставки и он постоянно туда писал, и большАя часть загрузки КХ была из-за мерджей внутри этой таблицы.

0

18.11.2021

tg usr Автор вопроса

Clir
У меня заббикс берет данные из asynchronous_metric...

Посмотрел, в 21.8 уже похоже нет таблицы system.query_thread_log Кстати выше в чате нашел, человек на все _log таблицы выставил TTL Надо и себе сделать. Спасибо за помощь.

0

18.11.2021

Clir

tg usr
Посмотрел, в 21.8 уже похоже нет таблицы system.qu...

она скорее всего в конфиге закомментирована

0

18.11.2021

Denny [Altinity]

Clir
У меня заббикс берет данные из asynchronous_metric...

https://kb.altinity.com/altinity-kb-setup-and-maintenance/altinity-kb-system-tables-eat-my-disk/

0

20.11.2021