кластер кафки из пяти нод. Есть 12 топиков по 16 партиций. Вермя на удаление сообщений стоит пять часов. Происходит следующее, 4 и 5 нода за три дня забиваются полностью, при этом 1,2,3 ноды по месту заняты на 30-40 процентов. Если верить графане, то на 4 и 5 прилетаю в два раза больше сообщений по одному топику чем на 1,2 и 3 ноду соответственно. Подскажи, в какую сторону копать/смотреть? Заранее спасибо! )
В сторону правильности выбора ключа партицирования и равномерности распределения данных по нему.
Принял. Спасибо! Пойду изучать! )
Обсуждают сегодня