Коллеги, добрый день. Надо отправлять сообщения большому количеству получателей - около

6000 получателей. Структура сообщений одна, но информация внутри структуры индивидуальная для каждого получателя.

На ум приходит только создание топика для каждого получателя, но это будет слишком много топиков

Подскажите, пожалуйста, как идеологически верно решить эту задачу? Либо kafka не подходит для этого в целом?

есть 2 разных подхода: 1) разделять данные (для какой-либо нужды) 2) писать в один топик, и каждый консьюмер просто пропускает все ненужные сообщения. 2 способ гораздо проще и дешевле, я бы рекомендовал рассматривать его. при последовательной выборке (а при чтении партиции консьюмер работает так) можно пропускать все ненужные сообщения. для каждого "получателя" тут вам просто понадобится свой consumer-id, тогда они будут двигаться по этому топику независимо друг от друга.

Спасибо большое Вам!

а где находятся эти 6к получателей относительно кафки?

Они географически распределены, если про это вопрос.

это клиенты сидящие в интернете значит, и вы хотите выставить им публично кафку?

Нет, это внутри корпоративной сети В интернет ничего не выставляется.

хорошо что не прям в интернете. 6к консумеров многовато конечно, но вопрос теперь в нагрузке и нужно ли этим потребителям исторически полный поток получать или только новые события после подключенния?

Планируется что будет первоначальная полная выгрузка, а затем новыми событиями будет доставляться дельта. Ну и будет отдельно сверка данных (то же самое, что полная)