Хочу оптимизировать скрипт синхронизации БД через внешний API. Сейчас тут тупо

Question

Хочу оптимизировать скрипт синхронизации БД через внешний API. Сейчас тут тупо

загружается json со всеми записями, трункейтится база и новые данные инсертятся в базу. Которая рабочая (идут обращения от разных источников).
В принципе записей немного, около 3000. Но скрипт выполняется раз в 3 минуты.
У самого json где то 30 полей в каждой записи.

В большинстве случаев json остаётся без изменений (это не точно), тот кто этот код писал говорит что там постоянно что то меняется, но я сомневаюсь.

Моя идея сравнивать предыдущий полученный json с новым. И уже поштучно вносить изменения в базу.

При первом варианте нет нагрузки особой на ЦП, только на ИО. База достаточно быстро транкейтит, чуть дольше вставляет эти 3к записей.

В моем же варианте повышается нагрузка именно на ЦП. Мы бежим по всем записям и сравниваем, и находим отличия, и точечно обновляем/добовляем/удаляем.
Почему я сомневаюсь - идея использовать pydantic для этого, а он может быть медленный))

Как думаете,какой подход лучше?)

#backend #programming #python #russian

0

14.01.2022

11 ответов

28 просмотров

Art Автор вопроса

Тоже такой вариант на ум приходил.Но вроде как там у mysql с этим могут быть какие то траблы

0

14.01.2022

Владимир

Ну а почему репликация не подошла? Мне просто интересно

0

14.01.2022

Art Автор вопроса

Владимир
Ну а почему репликация не подошла? Мне просто инте...

Я про транкейт узнавал, вот что мне про него написали: "truncate causes MDL,а это блочит все что обращается к таблице. не знаю уж хотите ли вы такого поведения или нет. по умолчанию truncate стараются не использовать на живых таблицах (остальное, конечно, можно транкейтить). "

0

14.01.2022

Kirill Leontev

Art
Я про транкейт узнавал, вот что мне про него напис...

тогда upsert.

0

14.01.2022

Владимир

Art
Я про транкейт узнавал, вот что мне про него напис...

Эмм ты про это? https://dev.mysql.com/doc/refman/8.0/en/truncate-table.html Я про это: https://dev.mysql.com/doc/refman/8.0/en/replication.html

0

14.01.2022