Всем привет! Вопрос: Как на макроуровне выглядит балансировка поступающих запросов в

кафку (от producer-ов, которых предполагается тысячи)?

Чуть подробнее:
1) Есть n-тысяч продюсеров, которые шлют постоянно кучу сообщений через http-интерфейс (через него же?)
2) Балансировщик нагрузки
3) n-нод Kafka (сообщение кладется в топик)

Что тут из себя тут представляет балансировщик нагрузки? Варианты:
1) Пусть продюсер шлет сообщение на 1 рандомную ноду из n
2) Функцию балансировки выполняет Zookeeper?
3) Использовать классический nginx/haproxy?

Какой вариант правильный? Хотя бы профильные статейки, если есть под рукой бы…

3 ответов

8 просмотров
Bogdan-Avramenko Автор вопроса

UPD

Bogdan Avramenko
UPD

В смысле ссылку на исходники кинуть?))

Bogdan-Avramenko Автор вопроса
Mikhail
В смысле ссылку на исходники кинуть?))

Либо посоветовать в целом, либо на исходники. Я инет пошерстил, вижу архитектуру с балансировщиком: https://aws.amazon.com/ru/blogs/big-data/best-practices-for-running-apache-kafka-on-aws/

Похожие вопросы

Обсуждают сегодня

Можно ли загрузить скрипт py в бота чтобы он работал по нему? как это сделать?
huskadam #RCC Фанат? @hitlerpvp
13
Всем привет! Напишите пожалуйста, кто мог бы оффлайн преподавать некоторые курсы по Odoo в Алматы в одном из ВУЗов? Мы сейчас вместе с Odoo запускаем университетскую программу...
Adil Dauletkhan
2
Ребят, а за скок можно впарить анон чат с апишкой и веб админкой ?
Eugene Неелов
15
'frakturBold' => ['𝖆', '𝖇', '𝖈', '𝖉', '𝖊', '𝖋', '𝖌', '𝖍', '𝖎', '𝖏', '𝖐', '𝖑', '𝖒', '𝖓', '𝖔', '𝖕', '𝖖', '𝖗', '𝖘', '𝖙', '𝖚', '𝖛', '𝖜', '𝖝', '𝖞', '𝖟', '𝕬', '𝕭', '𝕮', '𝕯'...
Roma
4
Добрый день, не подскажите, если в OC-V3 поменять страндартную директорию /storage/ на /storage2/ - не будет сильно много проблем ?
Max Dubovsky
32
Ты просто гитлеровскую эстетику плохо понимаешь. Он же всё под Цезаря делал. А это как бы запрещённый приём в политике. Пиджаки они зачем все носят? Чтобы показать что они тип...
Ivan Kropotkin
4
Добрый день, подскажите как правильно сделать filter в backend-e. Есть модель (товар) у который связь belongsToMany (компания), компаний > 4k, поэтому выборку типа ->all(); н...
Max Dubovsky
7
А как заставить поиск искать? Есть такая формочка <select class="form-control custom-select" name="brand_id" data-handler="onGetBrands"></select>
Денис Александрович
5
Каким то образом можно определить ширину экрана пользователя перед загрузкой partial-а? Надо рассчитать ширину кадров слайдера для ресайза картинок для container-fluid.
Point 111
22
с помощью чего можно бота добавить как админа в чат? (условно в боте есть кнопка, нажатие на которую приводит тебя к выбору чата и выдаче прав боту)
ηє νєямσяє
5
Карта сайта