клик вставлять данные в широкую таблицу и потом пару десятков частичных апдейтов накатывать? Например, есть 100 колонок, вставляем первый раз - заполнены 10, потом доезжают значения для других 10 - обновляем и так далее. На коленке изобразился AggregatingMergeTree + AggregatingFunction(argMax, UInt64, UInt64) + версия - насколько это легально для таблицы в 100-1000М записей?
Выглядит норм
это легально для таблицы в 100-1000М записей, если 1000М записей в день, то нет
Спасибо. Out of curiosity, для 1kkk инсертов в день есть какое-то решение средствами клика?
1 млрд инсертов? Это надо тыщу нод.
Кафку посередке поставить?
Вы имеете в виду для поддержки описанной схемы обновлений? Так-то 1ккк в день - совсем не на тыщу нод цифры
Простите, не совсем понял, как кафка посередке поможет - обновления приезжают с задержкой, данные хочется видеть как можно раньше (можно сказать, что они потихоньку уточняются)
Я имею в виду что млрд строк и млрд инсертов это не одно и тоже.
Да, разумеется. Собственно, интересно: на масштабе в миллиарды инсертов/апдейтов в сутки насколько сильно страдать будет описанная схема? Быть может есть более подходящая?
Обсуждают сегодня