консумер ? Есть какие то еще критерии кроме consumer group id по которым брокер принимает решенеи по оффсету ?
может быть ситуация, что для группы записан некий оффсет, но этот офсет давно прошел, например потому что группа давно не разбирала топик (был долгий простой) вот группа коннектится, и у нее тут два варианта - читать с последнего сообщения топика - читать с начала топика вот у вас видимо коньюмер сконфигурен читать с начала в этом случае но я джун в кафке, поэтому могу быть не прав
В том то и дело что простоя на первый взгляд небыло, было потребление . Т.е. теретически ретешне консумер офстеа никак не могу наступить (он же по дефолту 24 часа или больше )
может группу тогда переименовал?
Нет , такое произошло сразу на нескольких топиках, с разными консумерами .
У некоторых консюмеров видел политику, если они были перезапущены без предварительной остановки (аналог аварийного перезапуска), то консюмер автоматом сбрасывает офсет консюмер группы на определённое состояние (по умолчанию обычно стоит earliest) и в этот момент как раз может быть подобная ситуация
хм, а как они понимают что они грохнулись аварийно? стейт консьюмера это же офсет, а он хранится не на самом консьюмере, поэтому не понятно, почему бы не начать с офсета
Тут у меня никаких гипотез к сожалению нет. Я только замечал, что если перед перещагрузкой кафка коннект кластера, все что в нем живёт предварительно ставлю на паузу и потом начинаю тех работы, то последующий запуск, после работ, не приводит к этой проблеме
Обсуждают сегодня