из синглтона-консьюмера кафки (на rust-rdkafka). показалось что подходят крэйты bus и broadcaster
Не уверен, что это вообще правильный подход — броадкастить сообщения из кафки, когда их можно паралельно читать. Читай велосипедить event-sourcing поверх event-sourcing-а. Вариант tokio::sync::broadcast, только нужно смотреть по требуемым гарантиям
экономиить на десериализации можно
ага, в обмен на баги (и вероятно просевший перформанс)
> параллельно читать напрямую из консьюмера? мне показалось что таким образом сообщение получит только один подписчик
не, N консумеров с разными консумер-груп-ид можно
это кажется накладно - создавать нового консьюмера на каждый новый сабскрипшен
зависит от количества из размера сообщений, кмк. но с другой стороны, как @kitsu пишет — будет проще управлять (если самому бродкастить, то надо как-то для каждого внутреннего потребителя сохранять офсет сообщения, обработанного и тд)
согласен. для моей задачи подойдет новый консьюмер с уникальным group_id
Обсуждают сегодня