Подскажите, как можно решить проблему. У меня есть нода КХ. Наблюдаю,

Question

Подскажите, как можно решить проблему. У меня есть нода КХ. Наблюдаю,

что с увеличением количества данных в хранилище растет потребление оперативной памяти (практически линейно). Подскажите, какие есть общепринятые практики оптимизации потребления оперативки? Мб ограничение и увеличение размера инсерта, партиционирование и т.д.

Не хотелось бы удалять данные, пусть даже старые.

#backend #clickhouse #database #devops #programming #russian

0

24.07.2023

9 ответов

8 просмотров

Александр Зенков Автор вопроса

Константин
А можно узнать ваши объемы данных

всего в БД 2 ГБ, данные приходят из разных источников и используются для разных целей. Для организации ЕТЛ используются матвью, а также кастомные скрипты запускаемые по расписанию (по большей части это SQL запросы, которые нужно запускать по расписанию). Гранулярность сырых данных 1 минута. Данных немного, а ест 16ГБ оперативки почти полностью.

0

24.07.2023

Alex K

Александр Зенков
всего в БД 2 ГБ, данные приходят из разных источни...

Клик съест все, что найдет. Это нормально.

0

24.07.2023

Александр Зенков Автор вопроса

Alex K
Клик съест все, что найдет. Это нормально.

Это было бы нормально, если бы он так с самого начала ел, но он на протяжении 2х месяцев равномерно увеличивал потребление. Запросы стали сильно тормозить

0

24.07.2023

Alex K

Ну у вас же рост количества данных, смотрите что расходует память, оптимизируйте

0

24.07.2023

Александр Зенков Автор вопроса

Alex K
Ну у вас же рост количества данных, смотрите что р...

да это понятно, я как раз для этого и спросил про общепринятые практики оптимизации хранилища. Я не сильно глубоко в клихаусе пока что

0

24.07.2023

Константин