избыточность данных, когда я делаю коммит в кафку и плюс еще сохраняю в БД оффсет, а потом я так понял придется еще лезть в БД, чтобы начать с правильного оффсета?
Если в БД (acid) ничего не пишешь с Кафка то и не надо. Это больше к теме про про exactly once delivery. Но я также встречал товарищей которые не доверяют Кафке в сохранении офсетов, мол иногда сбоит. Я лично такого не наблюдал но как опция можешь сохранять офсеты где удобно и да надо потом считывать. Из плюсов - легче мониторить.
Обсуждают сегодня