Пробовал стандартный kafka-s3-connector - умееть сливать на s3, но восстанавливаться из s3 не умеет.
Так же пробовал kafka-s3-connector от spredfast - умеет и туда, и назад, но корраптит сообщения
Смотрел в сторону flume от apache. насколько я понял, нужен отдельный демон под отдельный топик.
Есть ли еще какие-нибудь варианты, кроме mirror maker в соседнтий кластер? Желательно на s3. Или может кто-нибудь поделится своим опытом
А задача какая? Ну, т.е. для чего бекап, насколько долго он будет храниться etc ?
кмк бэкапить в батч чтобы потом восстановить намного сложнее в плане удержания гарантий, сохранения последовательности, и оркестрации всего этого хозяйства с приложениями - мы всегда делаем несколько кластеров либо с репликатором, либо с миррормейкером, так как это требуется в любом случае, тогда и бэкап и не нужен
Извращенцы...
Обсуждают сегодня