по умолчанию у топика compression.type=producer, поэтому включая компрессию на продьюсере оверхед по CPU получают только продьюсеры и консьюмеры, а для брокеров ничего не меняется?
верно. Если у топика поменять вместо producer на что-то другое и типы компрессий не совпадут с продьюсером, то брокер будет пережимать из одного типа компрессии в другой
не удалось ещё проверить производительность путём изменения компрессии, батчсайза и лингера? кстати компрессия будет тем лучше, чем больше будет размер батча (в пределах разумного конечно)
Ооо, это не так быстро получится сделать :) сначала собрать билды сервисов, которые не логстэши, потом на тесте проверить, что ничего нигде не отвалится, потом уже только на проде проверять эффект для перфоманса. Но направление движения выбрано, так что на след. неделе думаю начнем :)
но по идее для сервисов ничего не изменится. Они как отправляли несжатое сообщение так и получат его несжатым. Вся "магия" внутри кафки произойдёт)
Эти сервисы - это тоже продьюсеры/консьюмеры.
Обсуждают сегодня