данных.
А в чем кардинальное преимущество Engine = Buffer к tmpfs?
Я настроил пайплайн таким образом, что 50Gb сперва в tmpfs складывается, а потом уже на диск сбрасывается. Предполагаю, что в таком случае, на диск будет складываться не мелкие батчи, а большине сформированные куски партов, также можно гарантированно хранить какой-то объем в оперативке и обарщааться к нему. Плюс, рассматриваю вариант и с ssd между оперативкой и hdd.
за счёт page cache часть данных в любом случае будет в оперативке находится
у меня тестовый сервер с одним hdd записывает 2млрд строк в сутки, шириной 1.5КБ (сырых), 450 колонок. Записывает он это легко. Прочитать это невозможно, любые продовые селекты просто выполняются бесконечно долго. Поэтому я прям теряюсь какую проблему вы решаете.
Обсуждают сегодня