В нём есть KafkaConsumerService с KafkaListener, где указан топик, группа и контейнер фактори. В самом ConsumerFactory заданы следущие ConsumerConfig props: BOOTSTRAP_SERVERS_CONFIG, KEY&VALUE_DESERIALIZER CLASS_CONFIG, GROUP_ID_CONFIG, AUTO_OFFSET_RESET_CONFIG(earliest), REQUEST_TIMEOT_MS_CONFIG(70000), FETCH_MAX_WAIT_MS_CONFIG(60000), ENABLE_AUTO_COMMIT_CONFIG(false). Собственно мы имеем несколько несвязанных кафок (2 ip на каждый стенд), для разных стендов. На одном стенде, всё прекрасно работает, листенер слушает, по мере поступления данных отлично десиарилизует. На другом стенде (также настроенная кафка по словам людей кто настраивал), мы получаем: Error sending fetch request (sessionId=INVALID, epoch=INITIAL) to node 2: org.apache.kafka.common.errors.DisconnectException: null. Лог выше содержит информацию о том, что он находит group coordinator 10.110.110.10:9092 id:12345 rack:null), делает (Re-)joining group, далее Successfully joined groupd with generation Generation (generationdId=9; memberid='consumer-test-1234' protocol=range). Далее происходит Adding newly assing partitions: someTopic-0, и далее последний лог перед ошибкой: Setting offset for partition someTopic-0 to commited offset FetchPosition{offset=0, offsetEpoch=Optional.empty, currentLeader=LeaderAndEpoch{leader=Optional[10.220.220.10:9092 (id: 2 rack: null)], epoch=0}}. ______________ Собственно в поиске решения данной проблемы и были добавлены проперти с REQUEST_TIMEOT_MS_CONFIG(70000), FETCH_MAX_WAIT_MS_CONFIG(60000), ссылаясь на ответы на стаке, мол времени нехватает сделать Fetch. Но это никак не решает проблемы. Буду признателен за совет куда смотреть. Единственное - что к самой кафке, с которой такая песня у клиента, нет личного доступа, чтобы убедится что там всё корректно. Но те кто её поддерживает, говорят всё ок, проблема на стороне косюмера. Почему же тогда на другой кафке консюмер не ловит такую ошибку?
Попробуйте изменить уровень логирования logging.level.org.apache.kafka.*=DEBUG там по логам будет понятно в чем конкретно проблема
Обсуждают сегодня