мульти-партишн топика с помощью rdkafka с разных серверов одновременно таким образом, чтобы сообщение обрабатывалось 1 раз одним сервером.
Если придерживаться парадигмы 1 партишн на 1 консьюмера, то получается что нужен какой-то супервизор, который бы знал сколько у топика партишенов и раскидывал “задания” по разным серверам (а-ля сервер А потребляет 1-10 партишены, сервер Б потребляет 11-20 партишены). В случае отказа сервера Б - супервизор перенастраивает потребление на сервере А на все партишены.
Кто как делает?
https://github.com/edenhill/librdkafka/wiki/FAQ#what-is-a-high-level-balanced-consumer
Обсуждают сегодня