память базы, потом, после нехватки памяти уходят в wal, позже, после commit или переполнению wal
насколько я поняли с интернетов всегда пишет в файл. Это суть версионности, чтобы ничего не потерялось.
в pg существуют async transaction которые идут мимо wal
но я же пишу стандартно с коммитом. Да, есть без транзакций, но это не мой случай. И я разбираюсь именно в вопросе с транзакциями.
вам без разницы на данные можно было и не тратить ресурсы на commit, если отключать электричество в любом случае импорт навернеться
можно, но это сейчас не мой случай. То есть в теории вы правы, в том числе надо было сейчас писать без транзакций. Но я сейчас разбираю именно с транзакциями, хочу в теории понять, выше какой скорости не прыгнешь записывая в бд.
толку вам от скорости сферического коня в вакуме?
потому что сейчас у меня скорость 710 килобайт в секунду записи в базу. Это мало? Или это нормально, учитывая, что у pg куча накладных расходов, у меня мало оперативки, пишу с java и так далее.
мало, сделайте пачку больше 50
абсолютные цифры безполезны всегда, никто и никогда не найдет ровно такого же железа как у вас и не бдует ставить ОС, версии пакетов как у вас чтобы начать применять результаты ваших иследований
а почему мало неизвестно, да?
исключительно по собственному опыту :)
копируя файл с винта на винт я образно понимаю скорость. И она намного выше 710 килобайт.
ясно. Ладно, так как болтовня, вопрос все прочитали, ответа никто не знает. Пойду погуляю, чо. Комп занят, загоняет данные в базу.
даже вроде бы такая простая задача как протестить скорость записи на диск, является весьма сложной попроьбуйте на досуге подобрать параметры для fio чтобы протестить ваш профиль нагрузки
а вы специалист? завтра начальник прибежит, скажет, вон будут нам посылать текстовые строки, файлы по 100 гб, надо каждый день в базу добавлять. Справитесь?
Записанные данные уходят в wal с минимальной задержкой. commit, кроме прочего, гарантирует, что всё что нужно в wal записано. В датафайлы они уходят ужэ не с минимальной задержкой, но тожэ особо никого не дожыдаясь. К коммитам это вообще не относится -- всё, корректно записанное в wal можэт и должно быть записано в датафайлы. Из wal в датафайлы в обязательном порядке переносит checkpoint, но при нормальной работе всё переписывается раньшэ.
пытаться придумать решения для сферического коня в вакуме безполезная работа, запись данных не самоцель
философ :) ладно, всем спасибо, 1 вопрос решён, второй нет. Убежал.
Спасибо. За доки!)
Обсуждают сегодня