Всем привет. Вопрос к знатокам. Задача Добавление записей (порядка 100 миллионов) в

Question

Всем привет. Вопрос к знатокам. Задача Добавление записей (порядка 100 миллионов) в

таблицу. Структура таблицы довольно простая: id, name, field1, field2. Если запись с таким ID уже есть - обновляем.

Как решил пойти я
Создал функцию table_update(id, name, field1, field2) в которой делаю insert и если сработало исключение UNIQUE_VIOLATION, то обновляю запись по переданному в функцию ID.

Собственно вопрос:
Норм ли такой подход?
Чуть позже я решил в функции сначала проверять наличие такого ID в таблице (SELECT COUNT), и на основании проверки уже делать либо добавление, либо обновление записи. Удивительно то, что последний вариант оказался быстрее.

#backend #devops #pgsql #programming #russian

0

12.06.2022

13 ответов

11 просмотров

Evgeniy Naumov

Upsert не подходит? Или в пг нет?

0

12.06.2022

Shestakov Artem Автор вопроса

Alexey Bulgakov
ничего удивительно. обработка ошибок это дорого. п...

Я проверял на массиве данных в 100к записей. В среднем обработка при отлове исключения прошла за 55 секунд, при использовании SELECT COUNT ушло 49 секунд

0

12.06.2022

Alexey Bulgakov

Shestakov Artem
Я проверял на массиве данных в 100к записей. В сре...

тут надо знать, чего больше update или инсерт

0

12.06.2022

Shestakov Artem Автор вопроса

Evgeniy Naumov
Upsert не подходит? Или в пг нет?

Не пробовал

0

12.06.2022