нагрузка и в определенный момент стало ясно что по CPU брокеры перегружены. Удвоили количество брокеров, партиции перераспределили, количество сообщений на брокера и объем сократились примерно вдвое. Количество входящих сообщений на одного брокера упало с 80K/sec до 40K/sec, но при этом нагрузка на CPU брокеров упала не значительно :( и на новых брокерах так же стало больше 80% Почему так? Куда можно покопать? Если что, SSL и компрессия на топиках есть
Мы в свое время перешли на zfs on Linux, выключили компрессию в кафке и включили на пулах, с тех пор волосы мягкие и шелковистые
Профилировать джавку пробовали?
Если я все правильно понял, у нас это не очень вариант. Нам нужна компрессия и при передаче
Нет не пробовали, но странно что все работало хорошо, нагрузка возросла стало плохо, нагрузку сняли, но хорошо не стало :(
Обсуждают сегодня