с брокером стала подглючивать сеть - все остальные брокеры (на которых были реплики), а так же клиенты перестали коннектиться к брокеру (явные ошибки установки соединений в логах на других брокерах и клиентах). На данном брокере моментально NetworkRequest Queue size выросла до предельного значения и там и осталась. IdlePercentTime для RequestHandler и NetworkProcessor ушли в 0 и оставались там. Сильного потребления памяти или ЦПУ не наблюдалось. Брокер как бы завис, в логах ничего необычного не было - просто печатал периодически "Removed 0 expired offsets in 0 milliseconds". Проблема в том, что этот брокер продолжал счиаться лидером для партиций топиков, так что все клиентские запросы фейлились. Как понять, почему кластер не перебалансировался? Я не очень понимаю, как происходит перебалансировка лидера партиций
Через поласа сеть полностью резетнулась на машине и кластер перебалансировался.
На этой же машине находился зукипер (один из трех). Может ли быть причина в этом?
kafka - 2.1.0
Спасибо
Я сталкивался с похожим по симптомам явлением. В моем случае это было вот это: https://issues.apache.org/jira/browse/KAFKA-7697
Обсуждают сегодня