Привет. После применения use_minimalistic_part_header_in_zookeeper 1 (глобально на сервере) как можно

Question

ClickHouse не тормозит

Sergey Churin

Привет. После применения use_minimalistic_part_header_in_zookeeper 1 (глобально на сервере) как можно

старые партиции преобразовать под компактный формат хранения в зукипере? optimize final не прокатывает.

#backend #clickhouse #database #devops #programming #russian

0

17.03.2021

15 ответов

28 просмотров

Sergey Churin Автор вопроса

Denny [Altinity]
а почему вы думаете что он не компактный?

Потому что количество znode почти не уменьшилось после изменения настройки и рестарта. И тут писали, что старые партиции сами не меняют формат на компактный. И Алексей какую-то конвертилку упоминал

0

17.03.2021

Denny [Altinity]

Sergey Churin
Потому что количество znode почти не уменьшилось п...

use_minimalistic_part_header_in_zookeeper 1 очень давно включен по дефолту. >И тут писали, что старые партиции сами не меняют формат на компактный. И Алексей какую-то конвертилку упоминал любой альтер конвертирует все парты. alter add column или alter update тем более optimize

0

17.03.2021

Sergey Churin Автор вопроса

Denny [Altinity]
use_minimalistic_part_header_in_zookeeper 1 очень ...

У нас версия давнее) Апдейт запланирован, но не сейчас. Ок попробуем алтером

0

17.03.2021

Denny [Altinity]

Sergey Churin
У нас версия давнее) Апдейт запланирован, но не се...

ну какая у вас версия?

0

17.03.2021

Sergey Churin Автор вопроса

Denny [Altinity]
ну какая у вас версия?

19.14.6.12. Настройка выключена была

0

17.03.2021

Denny [Altinity]

Sergey Churin
19.14.6.12. Настройка выключена была

вы какую проблему решаете? Обычно use_minimalistic_part_header_in_zookeeper помогает если у вас сотни серверов КХ

0

17.03.2021

Denny [Altinity]

Sergey Churin
19.14.6.12. Настройка выключена была

рестарт КХ был?

0

17.03.2021

Sergey Churin Автор вопроса

Denny [Altinity]
вы какую проблему решаете? Обычно use_minimalistic...

Мы не особо правильные пользователи КХ и создаем себе проблемы другими способами. Сотни таблиц, дневные партиции, все дела... Десятки миллионов znode сейчас, и >10GB data_size в zookeeper. КХ да, рестартили на всех нодах, конечно. Эффект виден, но только для новых данных, судя по всему (ну и что в фоне мерджится). Alter where 0 попробую, спасибо👍

0

17.03.2021

Denny [Altinity]

Sergey Churin
Мы не особо правильные пользователи КХ и создаем с...

>10GB data_size в zookeeper вы о чем вообще? у вас 1 (один) снепшот размером 10GB?

0

17.03.2021

Sergey Churin Автор вопроса

Denny [Altinity]
>10GB data_size в zookeeper вы о чем вообще? у ва...

снепшот я не могу посмотреть. Вот это имелось в виду: "Zookeeper: Approximate data size. Data tree size in bytes.The size includes the znode path and its value."

0

17.03.2021

Denny [Altinity]

Sergey Churin
снепшот я не могу посмотреть. Вот это имелось в ви...

даже с сотнями таблиц тяжело представить такое, у вас сколько шардов? Может вы не удаляете реплики и у вас очереди репликации бесконечного размера? и что типа ZK работает с Xmx = 16GB ?

0

17.03.2021

Sergey Churin Автор вопроса

Denny [Altinity]
даже с сотнями таблиц тяжело представить такое, у ...

9 нод. 3 шарда по 3 реплики. А вот остальное я к сожалению, не в курсе, моя деятельность на уровне таблиц. Но если поселектить в system.replication_queue, то там или пусто, или 1 - 2 строки проскакивает.

0

17.03.2021

Dmitry [Altinity] Titov

Sergey Churin
9 нод. 3 шарда по 3 реплики. А вот остальное я к с...

А в system.replicas сколько total_replicas

0

17.03.2021

Sergey Churin Автор вопроса

Dmitry [Altinity] Titov
А в system.replicas сколько total_replicas

~2000

0

18.03.2021