Возможно ли в PG сделать COPY FROM итеративно, по кускам

Question

Возможно ли в PG сделать COPY FROM итеративно, по кускам

большую таблицу лить в STDOUT? (ограничен в памяти, целиком лить не вариант, SELECT * FROM с итеративным курсором хотелось бы ускорить)

#backend #devops #pgsql #programming #russian

0

27.10.2021

17 ответов

20 просмотров

Sasha M Автор вопроса

Ilya Anfimov
Запретов нет (о чём прямо написано в документацыи ...

А каким образом FETCH FORWARD для COPY будет работать?

0

27.10.2021

Ilya Anfimov

Sasha M
А каким образом FETCH FORWARD для COPY будет работ...

Я вообще не понял вопроса. FETCH FORWARD -- это какая-то хрень для поэтапной выгрузки запросов из постгреса в продвинутые приложэния, при чём тут COPY?

0

27.10.2021

Andrey L

через пайп лейте сразу куда следует

0

27.10.2021

Sasha M Автор вопроса

Andrey L
через пайп лейте сразу куда следует

Так и делаю, но если целиком COPY FROM делать, то памяти не хватает для таблицы (100М строк), поэтому пытаюсь выяснить, как написать COPY FROM, чтобы делал FETCH по 10М к примеру, и лил покусочно через пайп куда надо

0

27.10.2021

Andrey L

Sasha M
Так и делаю, но если целиком COPY FROM делать, то ...

а почему, если лить пачками, то память не заканчивается?

0

27.10.2021

Sasha M Автор вопроса

Andrey L
а почему, если лить пачками, то память не заканчив...

Залитая пачка в 10М удаляется из памяти после заливки, освобождается место для следующей

0

27.10.2021

Ilya Anfimov

Sasha M
Так и делаю, но если целиком COPY FROM делать, то ...

Кому нехватает памяти? Postgres вообще большэ work_mem для этого явно не можэт использовать. Я бы скорее предположыл, что вообще копейки какие-нибудь.

0

27.10.2021

Andrey L

Sasha M
Залитая пачка в 10М удаляется из памяти после зали...

вы куда льете?

0

27.10.2021

Sasha M Автор вопроса

Andrey L
вы куда льете?

В S3

0

27.10.2021

Ilya Anfimov

Sasha M
В S3

Впервые слышу, чтобы postgres мог хранить таблицы в S3.

0

27.10.2021

Andrey L

Sasha M
В S3

Мне стыдно, но я не копенгаген по s3. Память что потребляет? copy оперирует потоком

0

27.10.2021

Sasha M Автор вопроса

Ilya Anfimov
Впервые слышу, чтобы postgres мог хранить таблицы ...

Так я просто аутпут COPY FROM из STDOUT лью в S3

0

27.10.2021

Ilya Anfimov

Sasha M
Так я просто аутпут COPY FROM из STDOUT лью в S3

У COPY FROM нет аутпута, только инпут.

0

27.10.2021

Sasha M Автор вопроса

Ilya Anfimov
У COPY FROM нет аутпута, только инпут.

Сорян, оговорился и видимо запутал: COPY * TO STDOUT WITH CSV HEADER > S3

0

27.10.2021

Ilya Anfimov

Sasha M
Сорян, оговорился и видимо запутал: COPY * TO ST...

А, так это совсем другое дело. Впрочем, постгрес тут тожэ вряд ли использует большые буфера. И в любом случае они меньшэ work_mem. Там просто итэративное выполнение plan node, с выдачей результата ну буквально по одному пока буфер не забьётся. Так что память переполняется опять, видимо, у вашэй программы. Но чтобы обойти это в copy to можно использовать примерно любой запрос. Не знаю, не уверен насчёт FETCH FROM cursor, но уж поделить на логичного размера таблицу запросами -- вполне реально.

0

27.10.2021

Sasha M Автор вопроса

Ilya Anfimov
А, так это совсем другое дело. Впрочем, постгрес ...

Принял! Благодарю за разъяснения👍👍👍

0

27.10.2021

Ilya Anfimov · Accepted Answer

Ilya Anfimov

Запретов нет (о чём прямо написано в документацыи на COPY FROM, кстати).

0

27.10.2021

172 похожих чатов

Возможно ли в PG сделать COPY FROM итеративно, по кускам

17 ответов

Похожие вопросы