184 похожих чатов

Здравствуйте, подскажите пожалуйста: два дня назад обновились на версию 22.1.3 и

вот что сегодня обнаружили: утечку по памяти, причём это не словари.
Как проверить, что держит память?

22 ответов

24 просмотра

Посмотрите статью https://kb.altinity.com/altinity-kb-setup-and-maintenance/altinity-kb-who-ate-my-memory/

Иван- Автор вопроса
Alexander
Посмотрите статью https://kb.altinity.com/altinity...

большое спасибо, сейчас буду выяснять виновника)

Alexander
Посмотрите статью https://kb.altinity.com/altinity...

чето не нашли нужного кейса в статье. еще нет ничего почитать?

Этот график показывает что? Что такое memory tracker? Как rss выглядит из линукса? Как выглядел до обновления? Есть какфка? Есть live view? Есть rabbit?

Антон Швецов
screenshot

красная линия, время обновления кх. Метрика берется из ch exporter, ее забирает прометей. Не помню, встроенный ли метрик сервер в кликхаус или отдельно стоит. Имя метрики: ClickHouseMetrics_MemoryTracking. Да, кх работает с rabbitmq, забирает сообщения из кролика и складывает в таблицу. Кафки - нет, Live view тоже

с какой версии на какую обновлялись?

Антон Швецов
красная линия, время обновления кх. Метрика берет...

Я помню что эта метрика показывала минус 400tb. Очень показательная метрика.

Иван- Автор вопроса
Denny [Altinity]
Я помню что эта метрика показывала минус 400tb. Оч...

Модельки не билдятся, валятся по памяти, как видно по графику, на данный момент ch съел где-то на 8-9Gb больше от нормального аллоцированного объема

Антон Швецов
красная линия, время обновления кх. Метрика берет...

Если сказать detach table таблице с engine раббит то что с графиком?

Иван- Автор вопроса
Denny [Altinity]
модельки? В смысле?

Не хватает памяти материализовать таблицы, раньше хватало

Denny [Altinity]
Я помню что эта метрика показывала минус 400tb. Оч...

Вот метрика с метрик сервера кубернейтса. Потребление оперативной памяти подом

Иван- Автор вопроса
Denny [Altinity]
Если сказать detach table таблице с engine раббит ...

Здравствуйте, мы возвращаемся с нашей проблемой утечки памяти. Мы подняли стейджинг с одной таблицей, которая подключена к кролику. Проблема действительно в ней. Если детачить, то память не освобождается. Обновились на 22.2 проблема остаётся. Куда копать?

Иван
screenshot Здравствуйте, мы возвращаемся с нашей проблемой ут...

А чего 22.2 ? есть 22.3 , 22.4, завтра 22.5 выйдет. Какой формат данных? Json? На простой таблице и 2х полей тоже самое? Надо воспроизводить и писать в ишью в гитхабе шаги. Чем быстрее напишете, тем быстрее починят. Возможно что течет в какой-то конкретной конфигурации, например с какой-то версией кролика.

Иван- Автор вопроса
Slach [altinity]
22.3 ? и 22.4 пробовали?

нет, там прост ов 22.3 без обратной совместимости.

Denny [Altinity]
А чего 22.2 ? есть 22.3 , 22.4, завтра 22.5 выйдет...

Формат данных Json, exchange type - topic, используем rabbitmq_queue_base, RabbitMQ 3.7.14. Возможно кролик и не виноват, у нас еще в бд есть внешние дикты.

Иван
screenshot Здравствуйте, мы возвращаемся с нашей проблемой ут...

Здравствуйте, у меня та же проблема. не решили?

Иван- Автор вопроса
Anttoon
Здравствуйте, у меня та же проблема. не решили?

Здравствуйте, нет. Уже 3 неделю ставим эксперименты. Удалось выяснить, что кролик не виноват. Изолировали таблицу с кроликом в отдельную базу, всё ок, утечек нет. Удалили мат вьюхи, как будто бы скорость роста памяти уменьшилась. Есть предположение, что как-то связано с количеством инсёртов. Продолжаем исследование. Попробовали все версии, весь выпуск 22.* имеет утечки для нас

Иван
Здравствуйте, нет. Уже 3 неделю ставим эксперимент...

ясно( такая же история на гихабе есть issue https://github.com/ClickHouse/ClickHouse/issues/36367 очень жду когда решат

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта