данными, размер от 1 кб до 1гб. Мне надо их распаковать и в нормальную структуру преобразовать все файлы внутри. Для этого лучше лямбду написать, верно?
Зависит как это реализовано и где ты хочешь это использовать
хм, ну есть по сути только бакет с новыми файликами. Остальное вот как раз думаю, как сделать лучше
У лямбды есть лимит на время исполнения. Но если вы уверены, что файлы небольшие, то проблемы быть не должно
Самый большой архив - гигабайт, внутри гигов 5-10. 15 минут должно хватить, правда с памятью не понятно пока. Но лямбды видятся самым простым решением
Я не эксперт в aws, но если файлов много, рекомендую также посмотреть на aws batch. Код придётся завернуть в докер контейнер, но ограничений по времени выполнения или ресурсам нету, стоит дешевле, также можно использовать спот инстансы и тогда будет ещё дешевле.
Да, точно. Спасибо, посмотрю батч. Возможно ещё stepfunction можно использовать для триггера
Обсуждают сегодня