184 похожих чатов

Добрый день! Подскажите, а есть ли какой-то подход, как в

клик вставлять данные в широкую таблицу и потом пару десятков частичных апдейтов накатывать? Например, есть 100 колонок, вставляем первый раз - заполнены 10, потом доезжают значения для других 10 - обновляем и так далее. На коленке изобразился AggregatingMergeTree + AggregatingFunction(argMax, UInt64, UInt64) + версия - насколько это легально для таблицы в 100-1000М записей?

9 ответов

9 просмотров

Выглядит норм

это легально для таблицы в 100-1000М записей, если 1000М записей в день, то нет

Anton- Автор вопроса
Denny [Altinity]
это легально для таблицы в 100-1000М записей, есл...

Спасибо. Out of curiosity, для 1kkk инсертов в день есть какое-то решение средствами клика?

Anton
Спасибо. Out of curiosity, для 1kkk инсертов в ден...

1 млрд инсертов? Это надо тыщу нод.

Anton- Автор вопроса
Denny [Altinity]
1 млрд инсертов? Это надо тыщу нод.

Вы имеете в виду для поддержки описанной схемы обновлений? Так-то 1ккк в день - совсем не на тыщу нод цифры

Anton- Автор вопроса
Uncle Ruckus
Кафку посередке поставить?

Простите, не совсем понял, как кафка посередке поможет - обновления приезжают с задержкой, данные хочется видеть как можно раньше (можно сказать, что они потихоньку уточняются)

Anton
Вы имеете в виду для поддержки описанной схемы обн...

Я имею в виду что млрд строк и млрд инсертов это не одно и тоже.

Anton- Автор вопроса
Denny [Altinity]
Я имею в виду что млрд строк и млрд инсертов это н...

Да, разумеется. Собственно, интересно: на масштабе в миллиарды инсертов/апдейтов в сутки насколько сильно страдать будет описанная схема? Быть может есть более подходящая?

Похожие вопросы

Обсуждают сегодня

Типа вызывать GetParent и проверять на соответствие GetModuleHandle?
The Bird of Hermes
67
Do any of you guys have interesting projects one could join? I'm a Middle Full-Stack developer (JS/TS, React & Node)
Lev Shapiro
40
$res = json_decode($наша строка из респонса); $res1 = array_map(fn($o) => $o->name, $res->breadcrumbs[0]->entities); Как такое будет на Хаскеле?.. В начале весь джейсон, в ко...
Хаскель Моисеевич Гопник
27
В чем сила брат, в NASM или FASM?
Isaac Kleiner
18
Вопрос по диагностике ошибок (я знаю в чем, в данном конкретном примере, я знаю, как исправить, пример модельный, понятно, что в реальности бывает намного запутаннее). module...
ⰄⰎⰋⰐⰐⰑⰛⰤⰧⰧⰩⰄ ⰊⰑⰁⰓⰡⰛⰦⰕⰫ
11
Хтось використовував Vapor на Windows?
Jaroshevskii
15
А чем вам питонисты не угодили?😂
.
79
Есть какой-нибудь для Delphi/FPC T*Compression(Decompression)Stream на базе LZ4/Zstd/любой другой быстрый(и хорошо сжимающий) алгоритм А ещё лучше в pure pascal А ещё лучше од...
notme
52
Тут кста кто-нибудь NeoVim использует?
Simple Sorcerer
13
Оба варианта в целом подходят, но скорее создание конфликтной ситуации (на пустой основе). В прошлый раз он сказал мне про ESP32, я забыл про этот микроконтроллер, ошибся, я п...
КТ315
4
Карта сайта