184 похожих чатов

Подскажите пожалуйста, если я вставляю даные в Buffer на таблицу

MergerTree - то в какой момент данные мерджатся на диске? в тот момент когда забираются из буфера? или через какое то время позже?

6 ответов

9 просмотров
vvv- Автор вопроса

Другими словами - как работает Compaction в MergeTree когда есть буфер? и можно ли этим как-то управлять?

vvv
screenshot Другими словами - как работает Compaction в MergeT...

MergeTree таблица и мержи не в курсе про буфер. Вы делаете 100 инсертов по одной строке в течении 1й секунды в MergeTree. В КХ образуется 100 партов. Скорее всего КХ помержит 4 раза по 25 партов в 4 и еще один раз 4 парта в один парт, итого 5 мержей. Если поставить буфер который копит и сбрасывает раз в 2 секунды и делать инсерты в него, то мержей не будет, потому что все 100 записей будут записаны в MergeTree одним инсертом. Если у буфера 16 слоев, то конечно будет 16 инсертов, если слой один, то один инсерт, т.е. у буфера задается сколько там внутри под-буферов, для увеличения скорости параллельных вставок

Denny [Altinity]
MergeTree таблица и мержи не в курсе про буфер. В...

А есть способ как-то автоматически настроить перенаправление данных из буфера в таблицу на диск и удаление их из буфера?

Yaski
А есть способ как-то автоматически настроить перен...

вы доку вообще читали? буфер только так и работает. Инсерты надо в буфер делать по другому буфер вообще не умееет

vvv- Автор вопроса
Denny [Altinity]
MergeTree таблица и мержи не в курсе про буфер. В...

Если из Buffer (больше 100 строк) всё одним инсертом вставляется большим в MergeTree, то Codec Delta(1) будет сразу применяться? Расчет будет до записи на диск?

vvv
Если из Buffer (больше 100 строк) всё одним инсерт...

Да, НО вам вообще не надо про это знать. Никакой разницы нет для Delta и Codec есть буфер или нет.

Похожие вопросы

Обсуждают сегодня

Do any of you guys have interesting projects one could join? I'm a Middle Full-Stack developer (JS/TS, React & Node)
Lev Shapiro
38
Типа вызывать GetParent и проверять на соответствие GetModuleHandle?
The Bird of Hermes
65
$res = json_decode($наша строка из респонса); $res1 = array_map(fn($o) => $o->name, $res->breadcrumbs[0]->entities); Как такое будет на Хаскеле?.. В начале весь джейсон, в ко...
Хаскель Моисеевич Гопник
24
Вопрос по диагностике ошибок (я знаю в чем, в данном конкретном примере, я знаю, как исправить, пример модельный, понятно, что в реальности бывает намного запутаннее). module...
ⰄⰎⰋⰐⰐⰑⰛⰤⰧⰧⰩⰄ ⰊⰑⰁⰓⰡⰛⰦⰕⰫ
10
Хтось використовував Vapor на Windows?
Jaroshevskii
15
Тут кста кто-нибудь NeoVim использует?
Simple Sorcerer
13
А чем вам питонисты не угодили?😂
.
79
у меня вопрос на счет .global <name> для чего это нужно если я пишу на ассемблере? только для того что бы сделать это видимым для линкера? вот что написано в докумментации GA...
Simple Sorcerer
1
Есть какой-нибудь для Delphi/FPC T*Compression(Decompression)Stream на базе LZ4/Zstd/любой другой быстрый(и хорошо сжимающий) алгоритм А ещё лучше в pure pascal А ещё лучше од...
notme
52
У меня вот только только был затык при изучении одной темы. Я настолько привык к джс, что мозг с трудом признал таки, что f и \x -> f x - это равные функции. Потому что в д...
xfides Barabanov
7
Карта сайта