Как в постгресе решают проблему, когда необходимо бежать по курсору

Question

Как в постгресе решают проблему, когда необходимо бежать по курсору

LOOP'ом и фиксировать в цикле каждый INSERT. Т.е. чтобы каждый INSERT коммитился, даже пока не закончилась внешняя транзакция с LOOP' ом?

#backend #devops #pgsql #programming #russian

0

08.07.2021

11 ответов

10 просмотров

Джан Михаил Автор вопроса

Yaroslav Schekin
Никак. Какой в этом вообще смысл?

Надо вставить много записей в таблицу. При этом не хочется держать транзакцию пока там 1,5 ляма инсертов делается. Так же не хочется на середине процесса в случае ошибки потерять полляма вставленных записей

0

08.07.2021

Yaroslav Schekin

Джан Михаил
Надо вставить много записей в таблицу. При этом не...

> При этом не хочется держать транзакцию пока там 1,5 ляма инсертов делается. А надо, если это на самом деле транзакция. Т.е. буквально то, о чём Вы спрашивали, невозможно просто потому, что противоречит определению транзакции. И почему не хочется-то, кстати? > Так же не хочется на середине процесса в случае ошибки потерять полляма вставленных записей Тогда можно разделить этот процесс на отдельные транзакции, или же в самом деле использовать SAVEPOINTs (от критических ошибок они не помогут, конечно).

0

08.07.2021

Dmitry Vasiliev

Yaroslav Schekin
> При этом не хочется держать транзакцию пока там ...

Ну на самокате тоже, теоретически, можно доехать до Луны

0

08.07.2021

Джан Михаил Автор вопроса

Yaroslav Schekin
> При этом не хочется держать транзакцию пока там ...

Нет. 1,5 ляма не нужно вставлять одной транзакцией. Нет такой необходимости. Но если я бегу по записям с помощью курсора внутри функции, то я обременен тем, что это всё делается в транзакции. Как мне сделать, чтобы это были маленькие кусочки. Условно вставки по 1000 штук? Мне не нужно обеспечивать транзакционную вставку 1,5 ляма записей

0

08.07.2021

Valery

Джан Михаил
Нет. 1,5 ляма не нужно вставлять одной транзакцией...

Предположу банальность бежать курсором по 1000 записей или не бегать курсором вообще

0

08.07.2021

Anton TaN

Джан Михаил
Нет. 1,5 ляма не нужно вставлять одной транзакцией...

Собирайте в приложении батчи по несколько тысяч записей

0

08.07.2021

Dmitriy

Джан Михаил
Нет. 1,5 ляма не нужно вставлять одной транзакцией...

Insert into as select from where id >0 and <1000

0

08.07.2021

Yaroslav Schekin

Джан Михаил
Нет. 1,5 ляма не нужно вставлять одной транзакцией...

> Но если я бегу по записям с помощью курсора внутри функции, то я обременен тем, что это всё делается в транзакции. Да, это неизбежно — управление транзакциями именно в функциях невозможно. Зато возможно в процедурах (если они сами вызываются не в явной транзакции). Может быть, это подойдёт (в таком случае это будут отдельные транзакции, конечно)? Кроме того, курсор можно выполнить однажды (WITH HOLD), и в последующих отдельных транзакциях "дочитывать" из него по 1000 штук.

0

08.07.2021

Джан Михаил Автор вопроса

Yaroslav Schekin
> Но если я бегу по записям с помощью курсора внут...

Спасибо за ваш ответ!!!

0

08.07.2021

Ilya Anfimov

Масса вариантов, на самом деле. Ваш комментарий "savepoint -- не решает" -- говорит о том, что Вы, во-первых не сильны в объяснениях, а во-вторых решаете какую-то задачу. Притом не ту, которая написана. Начните формулировать ту, которую решаете, если хотите чтобы она была решэна.

0

08.07.2021

Yaroslav Schekin · Accepted Answer

Yaroslav Schekin

Никак. Какой в этом вообще смысл?

0

08.07.2021

172 похожих чатов

Как в постгресе решают проблему, когда необходимо бежать по курсору

11 ответов

Похожие вопросы