184 похожих чатов

Подскажите пожалуйста, если я вставляю даные в Buffer на таблицу

MergerTree - то в какой момент данные мерджатся на диске? в тот момент когда забираются из буфера? или через какое то время позже?

6 ответов

14 просмотров
vvv- Автор вопроса

Другими словами - как работает Compaction в MergeTree когда есть буфер? и можно ли этим как-то управлять?

vvv
screenshot Другими словами - как работает Compaction в MergeT...

MergeTree таблица и мержи не в курсе про буфер. Вы делаете 100 инсертов по одной строке в течении 1й секунды в MergeTree. В КХ образуется 100 партов. Скорее всего КХ помержит 4 раза по 25 партов в 4 и еще один раз 4 парта в один парт, итого 5 мержей. Если поставить буфер который копит и сбрасывает раз в 2 секунды и делать инсерты в него, то мержей не будет, потому что все 100 записей будут записаны в MergeTree одним инсертом. Если у буфера 16 слоев, то конечно будет 16 инсертов, если слой один, то один инсерт, т.е. у буфера задается сколько там внутри под-буферов, для увеличения скорости параллельных вставок

Denny [Altinity]
MergeTree таблица и мержи не в курсе про буфер. В...

А есть способ как-то автоматически настроить перенаправление данных из буфера в таблицу на диск и удаление их из буфера?

Yaski
А есть способ как-то автоматически настроить перен...

вы доку вообще читали? буфер только так и работает. Инсерты надо в буфер делать по другому буфер вообще не умееет

vvv- Автор вопроса
Denny [Altinity]
MergeTree таблица и мержи не в курсе про буфер. В...

Если из Buffer (больше 100 строк) всё одним инсертом вставляется большим в MergeTree, то Codec Delta(1) будет сразу применяться? Расчет будет до записи на диск?

vvv
Если из Buffer (больше 100 строк) всё одним инсерт...

Да, НО вам вообще не надо про это знать. Никакой разницы нет для Delta и Codec есть буфер или нет.

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта