Посмотрите статью https://kb.altinity.com/altinity-kb-setup-and-maintenance/altinity-kb-who-ate-my-memory/
большое спасибо, сейчас буду выяснять виновника)
чето не нашли нужного кейса в статье. еще нет ничего почитать?
Этот график показывает что? Что такое memory tracker? Как rss выглядит из линукса? Как выглядел до обновления? Есть какфка? Есть live view? Есть rabbit?
красная линия, время обновления кх. Метрика берется из ch exporter, ее забирает прометей. Не помню, встроенный ли метрик сервер в кликхаус или отдельно стоит. Имя метрики: ClickHouseMetrics_MemoryTracking. Да, кх работает с rabbitmq, забирает сообщения из кролика и складывает в таблицу. Кафки - нет, Live view тоже
с какой версии на какую обновлялись?
С 21.12.что-то на 22.1.3
Я помню что эта метрика показывала минус 400tb. Очень показательная метрика.
Модельки не билдятся, валятся по памяти, как видно по графику, на данный момент ch съел где-то на 8-9Gb больше от нормального аллоцированного объема
Если сказать detach table таблице с engine раббит то что с графиком?
модельки? В смысле?
Не хватает памяти материализовать таблицы, раньше хватало
Вот метрика с метрик сервера кубернейтса. Потребление оперативной памяти подом
Здравствуйте, мы возвращаемся с нашей проблемой утечки памяти. Мы подняли стейджинг с одной таблицей, которая подключена к кролику. Проблема действительно в ней. Если детачить, то память не освобождается. Обновились на 22.2 проблема остаётся. Куда копать?
22.3 ? и 22.4 пробовали?
А чего 22.2 ? есть 22.3 , 22.4, завтра 22.5 выйдет. Какой формат данных? Json? На простой таблице и 2х полей тоже самое? Надо воспроизводить и писать в ишью в гитхабе шаги. Чем быстрее напишете, тем быстрее починят. Возможно что течет в какой-то конкретной конфигурации, например с какой-то версией кролика.
нет, там прост ов 22.3 без обратной совместимости.
Формат данных Json, exchange type - topic, используем rabbitmq_queue_base, RabbitMQ 3.7.14. Возможно кролик и не виноват, у нас еще в бд есть внешние дикты.
Здравствуйте, у меня та же проблема. не решили?
Здравствуйте, нет. Уже 3 неделю ставим эксперименты. Удалось выяснить, что кролик не виноват. Изолировали таблицу с кроликом в отдельную базу, всё ок, утечек нет. Удалили мат вьюхи, как будто бы скорость роста памяти уменьшилась. Есть предположение, что как-то связано с количеством инсёртов. Продолжаем исследование. Попробовали все версии, весь выпуск 22.* имеет утечки для нас
ясно( такая же история на гихабе есть issue https://github.com/ClickHouse/ClickHouse/issues/36367 очень жду когда решат
Обсуждают сегодня