обвязывать kafka-rest-proxy дополнительной логикой?
Нет, в основном касалось commit offsets для consumer. Проблема REST в том что он вычитывает в буфер памяти сразу N записей, далее (если мы хотим брать только по 1 записи из REST) отдает уже из памяти, а offsets у consumer group уже уехал на N. Соответственно появляются проблемы мониторинга, а если в этот момент мы перезапустим kafka REST/пересоздадим его consumer то недочитанные записи вообще теряются, т.к. offset уехал. Плюс добавлял аудит лог (откуда и сколько реально вычитано было).
Обсуждают сегодня