Всем привет. Есть какой-нибудь способ ограничить энтузиазм кх, когда он

Question

Всем привет. Есть какой-нибудь способ ограничить энтузиазм кх, когда он

выбирает, сколько партов он хочет смержить? Столкнулись с проблемой, что мерж жрет очень много памяти и либо ООМится, либо просто упирается в потолок и ломается, если ограничить max_server_memory_usage (https://pastebin.com/kP7cpwQe). Ну и соответственно он постоянно ретраит этот сломанный мерж.
Движок AggMT, с обычным MT такого не видел. ClickHouse server version 21.8.8 revision 54449.

#backend #clickhouse #database #devops #programming #russian

0

04.02.2022

3 ответов

24 просмотра

Danila Migalin Автор вопроса

Ilya Golshtein
Обычный мерж требует минимум памяти: читаются два ...

ну, то что памяти недостаточно - это понятно, мне интересно, можно ли, например, этот процесс как-то оптимизировать - если не получилось помержить N партов, в следующей попытке попытаться помержить только 0.75*N, например - чтобы уместиться в память

0

04.02.2022

Ilya Golshtein

Danila Migalin
ну, то что памяти недостаточно - это понятно, мне ...

Памяти не хватает для того, чтобы смержить два парта.

0

04.02.2022

Ilya Golshtein · Accepted Answer

Обычный мерж требует минимум памяти: читаются два куска (именно два, не больше) параллельно, результат пишется в третий. С агрегацией ситуация принципиально другая. Как быть в вашем случае, если честно не знаю, с удовольствием послушаю компетентных людей. Памяти видимо, просто недостаточно для мержа.

184 похожих чатов

Всем привет. Есть какой-нибудь способ ограничить энтузиазм кх, когда он

3 ответов

Похожие вопросы