Кстати есть ниндзи aws? Есть кейс что в s3 и локальном

Question

Кстати есть ниндзи aws? Есть кейс что в s3 и локальном

датацентре лежит 100tb данных. Их надо синкать между собой так-как периодически что то добавляется.

AWS Datasynk очень много жрет на моменте поиска дифференса между объектами.

AWS Storage Gateway я так понимаю будет требовать дайрект коннект 1gb+ и сервачек не слишком чахлый.

Соответсвенно остается вариант только писать микросервис что будет от сервисов генерирующих дату получать нотификашку что "бонжур йопта тут новые файлы появиись" и перекладывать их DC>aws aws>dc

#devops #programming #russian

0

11.09.2023

6 ответов

24 просмотра

QXJzZW5peQ== Автор вопроса

Ruslan Gustomiasov
файлики в обоих концах добавляются?

Ага

0

11.09.2023

Ruslan Gustomiasov

QXJzZW5peQ==
Ага

со стороны s3 можно https://docs.aws.amazon.com/AmazonS3/latest/userguide/EventNotifications.html намутить, в дц видимо придётся самому мутить. так-то storage gateway правильнее будет наверное

0

11.09.2023

Ruslan Gustomiasov

ну или забирать в онпремис по sns нотификации, и писать локально и в s3

0

11.09.2023

QXJzZW5peQ== Автор вопроса

Ruslan Gustomiasov
со стороны s3 можно https://docs.aws.amazon.com/Am...

Спасибо. Буду смотреть в сторону микросервиса. Разрабы говорят есть базенка куда пишутся записи о генерации новых файлов.

0

11.09.2023

QXJzZW5peQ== Автор вопроса