в нем идет поток оперативных сообщений, есть с десяток консюмеров.
В какой-то момент стало понятно, что нам нужно отпроцессить топик с 0 оффсета, с начала - это связано с тем, что не загружали часть данных, а сейчас они потребовались.
Но, если я просто сброшу оффсет на 0 - у меня практически остановится поток оперативных сообщений, поскольку консюмеры начнут вычитывать топик с 0 и пока они дойдут до текущей позиции, это несколько суток может занять.
Как сделать так, чтобы и оперативно поступающие сообщения вычитывались, и старые сообщения постепенно были вычитаны?
У меня в голове пока конструкция из отдельного набора консюмеров со своей группой, которые читают с 0 и не мешают оперативны консюмерам.
Но может быть есть какой-то вариант настройки приоритета в Кафке, чтобы она раздавала консюмерам в первую очередь сообщения например, за текущие сутки, а если их нет, то уже раздавала старые.
нет, приоритетов нет. вы правы в предположении, что понадобится отдельная группа, если есть потребность читать параллельно и старые и новые.
Обсуждают сегодня