Может я в целом не совсем с той стороны решаю

Question

Может я в целом не совсем с той стороны решаю

проблему.
Задача такая. Мне нужно забирать снапшот из таблиц в pg, т.е. выгружать всё содержимое полностью и складывать в файл (например, csv) в S3. Таблица может быть 30-50 ГБ. Для меня база это сторонний сервис, так что я не могу изменить конфигурации или пользоваться консольными командами.
Мой подход - использовать copy-команду с STDOUT в файл. Если я верно понимаю, так данные едут потоком в открытый файл. В каждой таблице есть id и индекс по нему, так я могу итерироваться и выгружать записи частями. Но частями это костыль. Возможно есть другое ращение, как вытащить большую таблицу целиком в файл?

#backend #devops #pgsql #programming #russian

0

29.03.2023

4 ответов

10 просмотров

Dmitriy Matyukhin Автор вопроса

без возможности выполнять консольные команды? буду признателен, если тыкнете куда посмотреть, как это делать, ничего нормального я не нагуглил про это

0

29.03.2023

Ilya Anfimov

Павел П.
А просто дамп таблицы делать не быстрее будет чем ...

Какбудто дамп как-то по-другому это делать будет.

0

30.03.2023

Ilya Anfimov

Dmitriy Matyukhin
без возможности выполнять консольные команды? буду...

pg_dump запустить у себя, вообще не проблема. Только не поможэт, он всё тожэ самое делает.

0

30.03.2023