Мне надо заимпортить в таблицу большой csv файл, но перед

Question

Мне надо заимпортить в таблицу большой csv файл, но перед

этим я его должен провалидировать через c#. После валидации я получаю список сущностей. Также мне надо либо обновлять записи в бд, либо добавлять новые, то есть insert on conflict. Выходит, что просто использовать copy (в моем случае этот пакет https://github.com/PostgreSQLCopyHelper/PostgreSQLCopyHelper) я не могу, так как нужен апсерт.
Получается, мой выход это сделать гигантский insert on conflict?
Также видел вариант, когда делают copy во временную таблицу, а потом уже из неё апсертят в оригинальную. Пример:
sql = """
CREATE TABLE temp_h (
time ,
name,
description
);
COPY temp_h FROM STDIN With CSV;

INSERT INTO table_a(time, name, description)
SELECT *
FROM temp_h ON conflict (time)
DO update set name=EXCLUDED.name, description=EXCLUDED.description;

DROP TABLE temp_h;
"""

Подскажите, пожалуйста, как лучше всего поступить?

#backend #devops #pgsql #programming #russian

0

12.01.2021

3 ответов

31 просмотр

Yegor Yudin Автор вопроса

Yaroslav Schekin
Мне кажется, что вариант с временной таблицей лучш...

А как так получается, ведь все равно апсерт делается. Только без временной таблицы я не делаю операцию copy, а сразу insert on conflict. А во втором варианте я сначала делаю copy, а потом insert on conflict. И второй вариант будет быстрее?

0

12.01.2021

Yaroslav Schekin

Yegor Yudin
А как так получается, ведь все равно апсерт делает...

Да, вполне возможно, что он будет быстрее. Если у Вас есть время — протестируйте оба варианта (это же несложно).

0

12.01.2021

Yaroslav Schekin · Accepted Answer

Yaroslav Schekin

Мне кажется, что вариант с временной таблицей лучше.

0

12.01.2021

172 похожих чатов

Мне надо заимпортить в таблицу большой csv файл, но перед

3 ответов

Похожие вопросы