количество объектов из S3 бакета? (3М+ объектов)
сейчас через boto батчами по 1000 айтемов работает скрипт работает крайне медленно
при увеличении размера батча aws уже начинает ругаться на rate limit и удаление идет еще медленнее
А у них уникальные ключи или префикс общий?
Настроить lifecycle policy в бакете и пусть там само в фоне удаляется
Обсуждают сегодня