Имеется две таблицы, в одной поле X - UNIQUE (ON

Question

Имеется две таблицы, в одной поле X - UNIQUE (ON

CONFLICT(X) DO NOTHING), делаю вставку данных в эти таблицы через executemany,
подскажите как сделать так что бы если таблица уже содержит это уникальное поле, то вставка во вторую таблицу не происходила? это вообще реально через множественную вставку или нужно по одномой строке вставлять и если ошибка - отменять транзакцию? Спасибо

#backend #devops #pgsql #programming #russian

0

24.08.2022

9 ответов

21 просмотр

Oleg Katushka Автор вопроса

метод asyncpg либы для postgres в питоне. Думал получать через RETURNING айдишники и вставлять во вторую таблицу если пришел не NULL то есть если insert был, но asyncpg не поддерживает RETURNING для множественной вставки

0

24.08.2022

Oleg Katushka Автор вопроса

Dmitriy Sviridov
А в чём проблема вызвать множественную вставку с п...

тогда если делать ON CONFLICT DO NOTHING RETURNING id, я не смогу получить айдишки новых вставленных строк, а без этого я не знаю нужно ли вставлять связанные данные в другую табличку, а если оставить ON CONFLICT NO ACTION то все запросы упадут

0

24.08.2022

Ilya Anfimov

Oleg Katushka
метод asyncpg либы для postgres в питоне. Думал по...

Да всё можно, можно INSERT ... RETURNING обернуть в cte и результат использовать в другом INSERT, например. (Ещё можно дописать asnycpg, там кода-то немного). Ещё можно вообще весь dataset на сервер отправить, и пусть там запросы разбираются -- что куда перекладывать. Только вопрос -- а оно вам надо? У вас вообще хоть какой-то кусок этой обработки является проблемным по скорости?

0

24.08.2022

Oleg Katushka Автор вопроса

Ilya Anfimov
Да всё можно, можно INSERT ... RETURNING обернуть ...

ну новых строк может быть +- 800 в сек, если вставлять по строке то не хватает пула из 5 конекшенов, то я по +- 50 срок вставляю сразу

0

24.08.2022

Oleg Katushka Автор вопроса

бд и воккер на разных серверах, поэтому 0.05 сек еще просто уходит на доставку

0

24.08.2022

Ilya Anfimov

Oleg Katushka
бд и воккер на разных серверах, поэтому 0.05 сек е...

Они в разных странах что ли?

0

24.08.2022

Oleg Katushka Автор вопроса

Ilya Anfimov
Они в разных странах что ли?

да

0

24.08.2022

Ilya Anfimov

Oleg Katushka
да

Тогда вариант "Ещё можно вообще весь dataset на сервер отправить, и пусть там запросы разбираются -- что куда перекладывать." становится более привлекательным. (Если всё сложно с SQL (хотя это работа как раз для него) -- пишыте на питоне на сервере).

0

24.08.2022

Dmitriy Sviridov · Accepted Answer

Dmitriy Sviridov

Oleg Katushka
метод asyncpg либы для postgres в питоне. Думал по...

А в чём проблема вызвать множественную вставку с помощью fetch? Тогда ж всё ок будет

0

24.08.2022

172 похожих чатов

Имеется две таблицы, в одной поле X - UNIQUE (ON

9 ответов

Похожие вопросы