Добрый день! Подскажите, плз, можно ли как-то регулировать интенсивность выполнения

Question

Добрый день! Подскажите, плз, можно ли как-то регулировать интенсивность выполнения

мутаций? Сейчас, при запуске одной умеренно тяжелой мутации, КХ, на сколько я понимаю, делает ее параллельно для нескольких партов, нагрузка на сервер сильно возрастает, и обычным запросам не хватает памяти, да и сами мутации изредка тоже фейлятся с нехваткой памяти.

#backend #clickhouse #database #devops #programming #russian

0

27.01.2021

12 ответов

23 просмотра

Slach [altinity]

сколько памяти и CPU ядер на сервере?

0

27.01.2021

Ilia Ablamonov Автор вопроса

Slach [altinity]
сколько памяти и CPU ядер на сервере?

128гб, 48 логических ядра

0

27.01.2021

Ilia Ablamonov Автор вопроса

Slach [altinity]
background_schedule_pool_size уменьшите в /etc/cli...

в system.mutations.latest_fail_reason в процессе видел ошибки вида "не могу выделить 1-10гб"

0

27.01.2021

Slach [altinity]

Ilia Ablamonov
128гб, 48 логических ядра

тогда у вас проблема не в мутациях памяти для них навалом смотрите сколько памяти жралось в system.query_log по времени ошибок из latest_fail_time

0

27.01.2021

Slach [altinity]

Ilia Ablamonov
128гб, 48 логических ядра

смотрите по времени в system.metric_log CurrentMetric_* поля которые с памятью связаны также

0

27.01.2021

Denny [Altinity]

Ilia Ablamonov
в system.mutations.latest_fail_reason в процессе в...

в мутациях нельзя использовать select, используйте словари

0

27.01.2021

Ilia Ablamonov Автор вопроса

Denny [Altinity]
в мутациях нельзя использовать select, используйте...

Не используем: заранее селектим 10к значений, а в мутации перечисляем их в where in [].

0

27.01.2021

Denny [Altinity]

Ilia Ablamonov
Не используем: заранее селектим 10к значений, а в ...

это вам апгрейдится надо, это починено. НО, в любом случае будет проблема, вы же запускаете не одну мутацию, а сразу пачку и в каждой по 10к? ОНи объединяются в одну. Используйте engine=Join и в мутации joinGet (я использую mergtree таблицы, туда записываю id-шники, даже миллион, сверху словарь, и потом одной мутацией where dictGet)

0

27.01.2021

Ilia Ablamonov Автор вопроса

Denny [Altinity]
это вам апгрейдится надо, это починено. НО, в люб...

Запускаем по одной, нам много не надо

0

27.01.2021

Denny [Altinity]

Ilia Ablamonov
Запускаем по одной, нам много не надо

запускаем это хорошо. А конца ждете?

0

27.01.2021

SergeyZ06

Denny [Altinity]
это вам апгрейдится надо, это починено. НО, в люб...

"Используйте engine=Join и в мутации joinGet (я использую mergtree таблицы, туда записываю id-шники, даже миллион, сверху словарь, и потом одной мутацией where dictGet)" Попробовал, опять ошибка: Exception: Illegal type Nullable(Bool) of second argument of function dictGet, expected a const string or const tuple of const strings. В целевой таблице что ли дело. 🤔

0

08.09.2023

Slach [altinity] · Accepted Answer

background_schedule_pool_size уменьшите в /etc/clickhouse-server/users.d/background_scheduled_pool_size.xml <yandex> <profiles> <default> <background_schedule_pool_size>2</background_schedule_pool_size> <background_pool_size>2</background_pool_size> </default> </profiles> </yandex> вообще как бы merge и мутации никакой особой памяти не занимают (ну буфера на чтение и распаковку где то мегабайт на 1 колонку и зависит от формата part) они диск жрут потребуется сервер рестартануть

184 похожих чатов

Добрый день! Подскажите, плз, можно ли как-то регулировать интенсивность выполнения

12 ответов

Похожие вопросы