Всем привет, подскажите пожалуйста по насчёт Kafka consumers и consumer

Question

Всем привет, подскажите пожалуйста по насчёт Kafka consumers и consumer

group.

Есть приложение, в котором 2 топика обрабатываются 2 консьюмерами индивидуально, т.е. 1-1, каждый топик это определённый тип сообщений. Сейчас консьюмеры находятся в одной группе.

Как я понимаю, если произойдёт ребалансировка партиций этих топиков (по разным причинам, или консьюмер упал или сами пошли ручками в кафке поменяли кол-во партиций) - то у меня возникает проблема что часть партиций может
уйти на консьмер, который не ожидает такой тип сообщений - верно же? https://stackoverflow.com/questions/57753211/kafka-use-common-consumer-group-to-access-multiple-topics

При этом в Kafka Definitive Guide читаю что обычная практика назначать consumer group per application

Как вы разруливаете вариант когда приложение обрабатывает несколько топиков?

#kafka #russian #software

0

17.01.2023

2 ответов

6 просмотров

Eugene Zakharov Автор вопроса

Ivan Knyazev
hi. разные консумер фактори и, соотвественно, лисн...

Не хочу лишний контейнер деплоить. В целом я понял, спасибо

0

17.01.2023

Ivan Knyazev · Accepted Answer

Ivan Knyazev

hi. разные консумер фактори и, соотвественно, лиснер контайинер фактори (там уже разные пропсы под каждый топик (консумера офк) и логику обработки, аск и прочее). а почему нельзя разбить на 2 апликейшина?

0

17.01.2023

52 похожих чатов

Всем привет, подскажите пожалуйста по насчёт Kafka consumers и consumer

2 ответов

Похожие вопросы