184 похожих чатов

#ReplacingMergeTree добрый день, подскажите, хорошая ли идея использовать ReplacingMergeTree для

хранения постоянно обновляющихся данных из внешнго источника, которые хочется синхронизировать с CH раз в какое-то время? Количество инсертов ~ 1M/сутки, то есть таблица сама не большая, но данные меняются стабильно - а трекать предыдущие значения и дописывать дельты как-то больно.

12 ответов

11 просмотров

1 М в сутки в строках это ?

можно ещё в сторону EmbeddedRocksDB глянуть

Anton
да

1М строки? тогда никаких проблем

Anton- Автор вопроса
Denny [Altinity]
1М строки? тогда никаких проблем

а забират "последние" данные просто с argMax(tuple(val1, val2, ..., valN), version) и не париться?

если будете использовать её в качестве джойна, то нужно будет учесть, что JOIN t FINAL не работает

Anton- Автор вопроса
Vladimir Goncharov
можно ещё в сторону EmbeddedRocksDB глянуть

это для хранения словаря "того, что уже было" вы предлагаете?

Anton
а забират "последние" данные просто с argMax(tuple...

по разному, зависит... например вы знаете что закончили обновлять и запускаете optimize final , дальше просто select есть например параметры которые ускоряют select final, возможно их можно использовать и еще 49 вариантов

Anton
это для хранения словаря "того, что уже было" вы п...

если у вас апдейты по ключу, то оно просто перезапишет всю строку, а не так как ReplacingMergeTree потом может быть когда-нибудь в фоне

Vladimir Goncharov
если будете использовать её в качестве джойна, то ...

это не совсем правда, нужен подзапрос select .... from ... join (select * from t final) as t и это баг, его починят

Anton- Автор вопроса
Denny [Altinity]
по разному, зависит... например вы знаете что зако...

ну вот тут напряжение в том, что "закончили обновлять" считай не бывает. есть грубо говоря внешняя база, которую периодически опрашиваем и получаем "актуальные" значения, и поменяться они могут как для свежих записей, там и для достаточно старых

Похожие вопросы

Обсуждают сегодня

Типа вызывать GetParent и проверять на соответствие GetModuleHandle?
The Bird of Hermes
67
Do any of you guys have interesting projects one could join? I'm a Middle Full-Stack developer (JS/TS, React & Node)
Lev Shapiro
40
$res = json_decode($наша строка из респонса); $res1 = array_map(fn($o) => $o->name, $res->breadcrumbs[0]->entities); Как такое будет на Хаскеле?.. В начале весь джейсон, в ко...
Хаскель Моисеевич Гопник
27
В чем сила брат, в NASM или FASM?
Isaac Kleiner
18
Вопрос по диагностике ошибок (я знаю в чем, в данном конкретном примере, я знаю, как исправить, пример модельный, понятно, что в реальности бывает намного запутаннее). module...
ⰄⰎⰋⰐⰐⰑⰛⰤⰧⰧⰩⰄ ⰊⰑⰁⰓⰡⰛⰦⰕⰫ
11
Хтось використовував Vapor на Windows?
Jaroshevskii
15
Тут кста кто-нибудь NeoVim использует?
Simple Sorcerer
13
А чем вам питонисты не угодили?😂
.
79
Есть какой-нибудь для Delphi/FPC T*Compression(Decompression)Stream на базе LZ4/Zstd/любой другой быстрый(и хорошо сжимающий) алгоритм А ещё лучше в pure pascal А ещё лучше од...
notme
52
у меня вопрос на счет .global <name> для чего это нужно если я пишу на ассемблере? только для того что бы сделать это видимым для линкера? вот что написано в докумментации GA...
Simple Sorcerer
1
Карта сайта