с памятью, а может кто-то из гуру подскажет :-)
Проблема: неожиданно подключилась большая консюмер-группа (много консюмеров), вычитала разово много данных, брокеры начали падать в OutOfMemory.
Что больше сыграло - количество читателей или объём данных? Что прежде всего контролировать?
Какая версия брокера и какой версия консьюмеров?
Очень вероятно что из-за несовпадения версий консьюмера и брокера происходит upconvert сообщения. Об этом говорили тут https://www.confluent.io/kafka-summit-london18/monitor-kafka-like-a-pro и вот тут https://youtu.be/tPPgKLQc55A
Обсуждают сегодня