во внутреннем буфере консумера, когда есть кафка? Почему продюсеру нужен буфер - понятно, но тут как-то не очень. Потенциально правильный сценарий такой: внешняя система недоступна - продолжаем консумить но отключаем коммиты, все сообщения уходят в /dev/null и память не занимают; система доступна - начинаем коммитить, лаг по партициям уменьшается.
Консьюмер то свой локальный офсет имеет, и если мы так будем делать то куча сообщений вылетит в трубу, в какой то момент скажем коммит и окончательно их потеряем
Обсуждают сегодня