кафку (от producer-ов, которых предполагается тысячи)?
Чуть подробнее:
1) Есть n-тысяч продюсеров, которые шлют постоянно кучу сообщений через http-интерфейс (через него же?)
2) Балансировщик нагрузки
3) n-нод Kafka (сообщение кладется в топик)
Что тут из себя тут представляет балансировщик нагрузки? Варианты:
1) Пусть продюсер шлет сообщение на 1 рандомную ноду из n
2) Функцию балансировки выполняет Zookeeper?
3) Использовать классический nginx/haproxy?
Какой вариант правильный? Хотя бы профильные статейки, если есть под рукой бы…
UPD
В смысле ссылку на исходники кинуть?))
Либо посоветовать в целом, либо на исходники. Я инет пошерстил, вижу архитектуру с балансировщиком: https://aws.amazon.com/ru/blogs/big-data/best-practices-for-running-apache-kafka-on-aws/
Обсуждают сегодня