request пользователя предполагается отправка сообщения в kafka.
Отправка синхронным паблишером, размер сообщеиня ~ 200 байт, acks=all.
Kafka кластер из 3 (возможно 5) брокеров.
Какие настройки можно подкрутить у паблишера и брокера, чтобы достичь максимальной пропускной способности?
По опыту, какого RPS можно достичь?
Наверное есть смысл запускать несколько паблишеров для распараллеливания?
Давай начнем с языка, фреймворка, и прочего. Потому что скажем официальный java-client и всё, что построено на librdkafka, может работать несколько по-разному внутри, а в случае, скажем, с Python возможно много вариантов (threads(надеюсь что нет)/gevent/asyncio и т.д.) То есть вопрос - как соотносится к-во продюсеров и веб-воркеров.
Обсуждают сегодня