zip архивы. Хотелось бы каким-то образом разархивированные файлы, с некой периодичностью, загружать себе в s3. Вопрос - чем лучше всего это делать? EC2?
Своим ci например
Сервер sftp ваш? Если да, напишите скрипт на awscli или python и просто заливайте их на s3. Цена = бесплатно
https://medium.com/@johnpaulhayes/how-extract-a-huge-zip-file-in-an-amazon-s3-bucket-by-using-aws-lambda-and-python-e32c6cf58f06 гараж не мой, самому интересно стало =) но опять таки если архивы реально большие, то думаю даже такой способ не прокатит - насколько я знаю у AWS Lambda как-то ограничена пропускная способность сети в зависимости от запрашиваемой Memory... в теории, можете просто не успеть скачать файл через лямбду, запроцессить его и выгрузить, даже не уперевшись в остальные лимиты
сделать крон с aws s3 sync на этом самом сервере, либо вообще перенести sftp в S3 с включенным режимом sftp не подходят?
Обсуждают сегодня