Всем приветы. Нужен совет. Есть БД на postgresql 12.8, весит 300

ГБ. Бекап пока делаем обычным pg_dump, много раз тестили, не подводил, тьфу-тьфу 😅
Но, сам бекап длится около 2,5 часов.
Вот, нужен совет, чо как быть дальше? т.к. будет расти.
Кто что использует на таких объёмах (знаю, что это ещё не много), перечитал много всего, но отзывы очень разные.
Нужен фидбек, типа мы юзаем вот это нам норм, плюсы такие, минусы такие, в кратце 🙂

а бекап в какой формат делали?

кастом

Дифф, лог, Фулл или пг так не умеет?

есть тулзы. родные вроде не умеют

Тулзы за бабки?

нет

многопотоком только directory работает. остальные могут deadlock вызвать.

Я делаю с реплики, в кластере патрони

хз в голову только партиционирование приходит) ну или выносить старые данные в отдельную бд

Ну ок, а что можно про партиционирование толковое почитать? Может есть какая-то ссылка для "чайников" 😅 Чтобы на пальцах было понятно, а потом уже разбираться в тонкостях, пока время есть

в мануале подробно описано.

Да в мануале, это понятно. Хочется, жми вот это тыкай это, и гоняй на тестовом стенде до усрачки. В мануалах к сожалению так не пишут. Но инфы там больше

бэкап всего кластера. минус место. плюс скорость и возможность инкрементов. вал-г, пгбакрест, пг_бейзбэкап. надо вал-логи хранить и бэкапить тоже. или руками через пг_стартбэкап (или типа того). тут можно хоть рсинком файлы из датадиры забирать. или даже снапшот фс делать. я так не пробовал.

не, пг мануал очень подробный )

так бери все, что найдешь и пробуй. а еще есть всякие платные штуки, которые возможно еще что-то могут предложить. но я не изучал это

платные штуки на низком уровне через select работают?

иногда очень. ищешь что-то, и не получается найти через сайт с докой. приходится через тот же гугл добираться до нужного раздела... =)

без понятия. не видел таких. но это не значит, что их нет =)

Зачем бекап всего кластера? Нужна только одна БД, кластер раскатывается ансиблом и всё приносит и пользователей и сами пустые БД в случае чего. А потом в мастер восстанавливаешь, на реплики всё доедет. По второй части, да, вот как раз про них читал тоже, хотелось просто совет, чем Вы у себя пользуетесь, статью можно любую написать, а тут вроде как из первых уст

при чем тут реплики?

Я наверное не совсем понял момент про кластер

точно

просто дампом ты тянешь только данные. а кластер с индексами. точнее вообще все, что в датадире. поэтому минус место

Чот пока сложно. Бекап делаю вот так sudo -u postgres /usr/pgsql-12/bin/pg_dump db_name -w -F custom -f /tmp/db_name.backup; Он содержит в себе всё и индексы и FK и всё всё

Вот тут вполне вменяемый обзор: https://ru-postgres.livejournal.com/66359.html (По-моему, он и более свежый где-то написал, но в общем для начала сойдёт).

читай что такое индексы

Главное, что надо про него знать: оно тут херовое, не надо им пользоваться без крайней необходимости. И да, 300 гиг -- это ещё не крайняя необходимость.

Да, его я тоже видел. По чатику поискал про бекап и что надо бы какой-то хелф чек сделать, что всё ок. Но, также читал, что у wal свои минусы, у bgbackrest свои, а кто-то вообще пишет, нафик это не надо, делайте pg_basebackup Я могу попробовать всё. Но, хотелось бы начать с того, что действительно люди используют

Уверяю вас, всё, описанное в том посте плюс pg_basebackup -- используется, притом массово. (Лично у меня почти всё -- обвязочки к pg_basebackup. За исключением пары мест, где просто делается snapshot файловой системы и tarом забирается. Но я ни в коем случае не показателен.)

раз ты прочитал про плюсы и минусы всех - значит все и используют. и каждый выбирал по потребностям

чет товарищ про вал-г совсем не написал ничего. хотя что там было в 2019 яхз. недавно с ним познакомился

pgbackrest юзаем и довольны

Во!!! Типа такого ответа и ждал. Спасибо, начну с него 🤝

тока сразу советую алгоритм сжатия с gzip переключить на lz4. места жраться будет больше, но быстрее сжиматься-раздиматься

а lz4 атрибуты сохраняет?

какие именно? с правами на файлы проблем нет, восстанавливается корректно. или ты про какие?

да, про них.