Берем время последнего записанного снапшота, и откатываем офсеты на него
На время снапшота игнайт блочится, и из кафки запись не идет
это упрощает жизнь да. Тогда опять вернемся к тому что надо гдето хранить связку топик-оффсет-дата для последнего что попало в игнайт и профита от доп поля не будет, раз уже есть топик-оффсет максимальный в кассандре
Ну сейчас еще ничего нет, пока проектирую, пока апдейты и боль, но не хочется 40 млрд записей в касссандре в сутки с номерами офсетов
А рядом с данными нельзя прикопать время последнего обновления? И выбирать оттуда максимальный таймстемп, откатывать на него.
Обсуждают сегодня