184 похожих чатов

Привет. После применения use_minimalistic_part_header_in_zookeeper 1 (глобально на сервере) как можно

старые партиции преобразовать под компактный формат хранения в зукипере? optimize final не прокатывает.

15 ответов

18 просмотров

а почему вы думаете что он не компактный?

Sergey-Churin Автор вопроса
Denny [Altinity]
а почему вы думаете что он не компактный?

Потому что количество znode почти не уменьшилось после изменения настройки и рестарта. И тут писали, что старые партиции сами не меняют формат на компактный. И Алексей какую-то конвертилку упоминал

Sergey Churin
Потому что количество znode почти не уменьшилось п...

use_minimalistic_part_header_in_zookeeper 1 очень давно включен по дефолту. >И тут писали, что старые партиции сами не меняют формат на компактный. И Алексей какую-то конвертилку упоминал любой альтер конвертирует все парты. alter add column или alter update тем более optimize

Sergey-Churin Автор вопроса
Denny [Altinity]
use_minimalistic_part_header_in_zookeeper 1 очень ...

У нас версия давнее) Апдейт запланирован, но не сейчас. Ок попробуем алтером

Sergey-Churin Автор вопроса
Denny [Altinity]
ну какая у вас версия?

19.14.6.12. Настройка выключена была

Sergey Churin
19.14.6.12. Настройка выключена была

вы какую проблему решаете? Обычно use_minimalistic_part_header_in_zookeeper помогает если у вас сотни серверов КХ

Sergey-Churin Автор вопроса
Denny [Altinity]
вы какую проблему решаете? Обычно use_minimalistic...

Мы не особо правильные пользователи КХ и создаем себе проблемы другими способами. Сотни таблиц, дневные партиции, все дела... Десятки миллионов znode сейчас, и >10GB data_size в zookeeper. КХ да, рестартили на всех нодах, конечно. Эффект виден, но только для новых данных, судя по всему (ну и что в фоне мерджится). Alter where 0 попробую, спасибо👍

Sergey Churin
Мы не особо правильные пользователи КХ и создаем с...

>10GB data_size в zookeeper вы о чем вообще? у вас 1 (один) снепшот размером 10GB?

Sergey-Churin Автор вопроса
Denny [Altinity]
>10GB data_size в zookeeper вы о чем вообще? у ва...

снепшот я не могу посмотреть. Вот это имелось в виду: "Zookeeper: Approximate data size. Data tree size in bytes.The size includes the znode path and its value."

Sergey Churin
снепшот я не могу посмотреть. Вот это имелось в ви...

даже с сотнями таблиц тяжело представить такое, у вас сколько шардов? Может вы не удаляете реплики и у вас очереди репликации бесконечного размера? и что типа ZK работает с Xmx = 16GB ?

Sergey-Churin Автор вопроса
Denny [Altinity]
даже с сотнями таблиц тяжело представить такое, у ...

9 нод. 3 шарда по 3 реплики. А вот остальное я к сожалению, не в курсе, моя деятельность на уровне таблиц. Но если поселектить в system.replication_queue, то там или пусто, или 1 - 2 строки проскакивает.

Похожие вопросы

Обсуждают сегодня

Какой-то там пердун в 90-х решил, что есть какая-то разная типизация. Кого вообще это волнует?
КТ315
49
void terminal_scroll() { memmove(terminal_buffer, terminal_buffer + VGA_WIDTH, buffer_size - VGA_WIDTH); memset(terminal_buffer + buffer_size - VGA_WIDTH, 0, VGA_WIDTH); ...
Егор
47
Всем привет! Подскажите, пожалуйста, в чем ошибка? Настраиваю подключение к MySQL. Либы лежат рядом с exe. Все как по "учебнику"
Евгений
16
А можете как-то проверить меня по знаниям по ассемблеру?
A A
132
Здравствуйте! У меня появилась возможность купить книгу "Изучай Haskell во имя добра!". Но я где-то слышал, что эта книга устарела. Насколько это правда??
E
22
Здравствуйте! Я вот на stepic решаю задачи на хаскеле https://stepik.org/lesson/8443/step/8?unit=1578 мой код import Data.List (isInfixOf) removing :: String -> [String] ->...
E
10
Камрады, кто тесно работал с vtv, хотел уточнить. Ширина column задаётся жёстко на этапе создания дерева или можно в рантайме ее менять программно (не мышкой)?
Ed Doc
10
да ладно ... что там неочевидного ? глянуть в исх-ки датасета и/или кверика чтобы понять в каком месте и как выполняется обращения к св-вам blablaSQL - минутное дело, даже е...
Сергей
7
Здесь для arm кто-нибудь кодит ?
Nothing
52
Всем привет, у меня есть сервер принимающий входящие HTTP подключения, как проверить, что подключение было через прокси или нет, есть какие то поля в заголовках по которым мо...
DS
8
Карта сайта