записей в sql таблице, видимо с помощью updateBatch или bulk update. Не одной записью, будет какое-то количество циклов по 1-2к строк. Какой пакет лучше всего подойдет для такой задачи? Или разницы нет и можно брать обычный sql?
SQLalchemy
10 миллионов — это довольно много. Если это, например, PostgreSQL, я бы просто новые значения экспортнул бы в CSV, который бы подгрузил в базу для апдейта.
Какая бд?
Обычно бд дробится по таблицам, сначала примари грузятся, потом к ним форейгены. Гугли "как грузить дамп баз"
Обсуждают сегодня