сотен миллионов записей. Мы немного поменяли (улучшили) формат для записей - теперь все новые записи идут в новом формате. Сервер умеет читать и старые записи и новые. Каким образом можно красиво сделать backfill для всех старых записей? Грубо говоря - как можно красиво пробежаться по каждой записи из DynamoDB и для неё вызвать какой-то код. В интернете предлагают городить что-то с очередями, лямбдами и степ-функциями которые друг-другу задачи перекидывают, но мне кажется это неправильно, дорого, медленно и слишком сложно
Может сделать план, разбить записи по критериям - год, месяц, день (например). Затем, я думаю, записи уже не меняются. То можно по расписанию заменить их. Конечно же учитывая разумные критерии - WCU/RCU, деньги и время.
Простое консольное приложение на ec2 с параллельным сканированием таблицы? https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/Scan.html - parallel scan секция
Спасибо! Что-то я изначально о таком и не подумал даже…
Обсуждают сегодня