184 похожих чатов

Здравствуйте, подскажите пожалуйста: два дня назад обновились на версию 22.1.3 и

вот что сегодня обнаружили: утечку по памяти, причём это не словари.
Как проверить, что держит память?

22 ответов

21 просмотр

Посмотрите статью https://kb.altinity.com/altinity-kb-setup-and-maintenance/altinity-kb-who-ate-my-memory/

Иван- Автор вопроса
Alexander
Посмотрите статью https://kb.altinity.com/altinity...

большое спасибо, сейчас буду выяснять виновника)

Alexander
Посмотрите статью https://kb.altinity.com/altinity...

чето не нашли нужного кейса в статье. еще нет ничего почитать?

Этот график показывает что? Что такое memory tracker? Как rss выглядит из линукса? Как выглядел до обновления? Есть какфка? Есть live view? Есть rabbit?

Антон Швецов
screenshot

красная линия, время обновления кх. Метрика берется из ch exporter, ее забирает прометей. Не помню, встроенный ли метрик сервер в кликхаус или отдельно стоит. Имя метрики: ClickHouseMetrics_MemoryTracking. Да, кх работает с rabbitmq, забирает сообщения из кролика и складывает в таблицу. Кафки - нет, Live view тоже

с какой версии на какую обновлялись?

Антон Швецов
красная линия, время обновления кх. Метрика берет...

Я помню что эта метрика показывала минус 400tb. Очень показательная метрика.

Иван- Автор вопроса
Denny [Altinity]
Я помню что эта метрика показывала минус 400tb. Оч...

Модельки не билдятся, валятся по памяти, как видно по графику, на данный момент ch съел где-то на 8-9Gb больше от нормального аллоцированного объема

Антон Швецов
красная линия, время обновления кх. Метрика берет...

Если сказать detach table таблице с engine раббит то что с графиком?

Иван- Автор вопроса
Denny [Altinity]
модельки? В смысле?

Не хватает памяти материализовать таблицы, раньше хватало

Denny [Altinity]
Я помню что эта метрика показывала минус 400tb. Оч...

Вот метрика с метрик сервера кубернейтса. Потребление оперативной памяти подом

Иван- Автор вопроса
Denny [Altinity]
Если сказать detach table таблице с engine раббит ...

Здравствуйте, мы возвращаемся с нашей проблемой утечки памяти. Мы подняли стейджинг с одной таблицей, которая подключена к кролику. Проблема действительно в ней. Если детачить, то память не освобождается. Обновились на 22.2 проблема остаётся. Куда копать?

Иван
screenshot Здравствуйте, мы возвращаемся с нашей проблемой ут...

А чего 22.2 ? есть 22.3 , 22.4, завтра 22.5 выйдет. Какой формат данных? Json? На простой таблице и 2х полей тоже самое? Надо воспроизводить и писать в ишью в гитхабе шаги. Чем быстрее напишете, тем быстрее починят. Возможно что течет в какой-то конкретной конфигурации, например с какой-то версией кролика.

Иван- Автор вопроса
Slach [altinity]
22.3 ? и 22.4 пробовали?

нет, там прост ов 22.3 без обратной совместимости.

Denny [Altinity]
А чего 22.2 ? есть 22.3 , 22.4, завтра 22.5 выйдет...

Формат данных Json, exchange type - topic, используем rabbitmq_queue_base, RabbitMQ 3.7.14. Возможно кролик и не виноват, у нас еще в бд есть внешние дикты.

Иван
screenshot Здравствуйте, мы возвращаемся с нашей проблемой ут...

Здравствуйте, у меня та же проблема. не решили?

Иван- Автор вопроса
Anttoon
Здравствуйте, у меня та же проблема. не решили?

Здравствуйте, нет. Уже 3 неделю ставим эксперименты. Удалось выяснить, что кролик не виноват. Изолировали таблицу с кроликом в отдельную базу, всё ок, утечек нет. Удалили мат вьюхи, как будто бы скорость роста памяти уменьшилась. Есть предположение, что как-то связано с количеством инсёртов. Продолжаем исследование. Попробовали все версии, весь выпуск 22.* имеет утечки для нас

Иван
Здравствуйте, нет. Уже 3 неделю ставим эксперимент...

ясно( такая же история на гихабе есть issue https://github.com/ClickHouse/ClickHouse/issues/36367 очень жду когда решат

Похожие вопросы

Обсуждают сегодня

Какой-то там пердун в 90-х решил, что есть какая-то разная типизация. Кого вообще это волнует?
КТ315
49
void terminal_scroll() { memmove(terminal_buffer, terminal_buffer + VGA_WIDTH, buffer_size - VGA_WIDTH); memset(terminal_buffer + buffer_size - VGA_WIDTH, 0, VGA_WIDTH); ...
Егор
47
Всем привет! Подскажите, пожалуйста, в чем ошибка? Настраиваю подключение к MySQL. Либы лежат рядом с exe. Все как по "учебнику"
Евгений
16
А можете как-то проверить меня по знаниям по ассемблеру?
A A
132
Здравствуйте! У меня появилась возможность купить книгу "Изучай Haskell во имя добра!". Но я где-то слышал, что эта книга устарела. Насколько это правда??
E
22
Здравствуйте! Я вот на stepic решаю задачи на хаскеле https://stepik.org/lesson/8443/step/8?unit=1578 мой код import Data.List (isInfixOf) removing :: String -> [String] ->...
E
10
Камрады, кто тесно работал с vtv, хотел уточнить. Ширина column задаётся жёстко на этапе создания дерева или можно в рантайме ее менять программно (не мышкой)?
Ed Doc
10
да ладно ... что там неочевидного ? глянуть в исх-ки датасета и/или кверика чтобы понять в каком месте и как выполняется обращения к св-вам blablaSQL - минутное дело, даже е...
Сергей
7
Здесь для arm кто-нибудь кодит ?
Nothing
52
Всем привет, у меня есть сервер принимающий входящие HTTP подключения, как проверить, что подключение было через прокси или нет, есть какие то поля в заголовках по которым мо...
Кибер Бомж
8
Карта сайта