Коллеги, подскажите: Один продюсер пишет в топик с 3 партициями. Запущены

Question

Коллеги, подскажите: Один продюсер пишет в топик с 3 партициями. Запущены

два консюмера в двух подах под одним group-id.
Проверили - читаются только партиции 0 и 1. Данные из 3-й не читаются.

Это нормальное поведение?

ПС: ранее думал что если консюмеров меньше чем партиций, то первый читает 0, второй должен читать 1 и 2.

#kafka #russian #software

0

14.09.2022

5 ответов

31 просмотр

Denis Vlasov Автор вопроса

Yegor
не норм, но только при условии что в третьей парти...

вроде не особо игрались. Про фетч - это вы про размер сообщения в server.prop? Если имеются ввиду настройки консюмера, то я посмотрел код и там нет ничего лишнего, все максимально по дефолту. Судя по коду писали по похожей доке: https://www.baeldung.com/spring-kafka#consuming-messages Я не очень в java, а в python я не сталкивался с такой проблемой(правда у меня всегда либо один консюмер был, либо по кол-ву партиций)

0

14.09.2022

Yegor

Denis Vlasov
вроде не особо игрались. Про фетч - это вы про раз...

у меня опыт гошный так вот, если неверно выставить fetch.min.bytes(+ для топик патриций) и fetch.max.wait, то можно добиться того, что некоторые партиции не будут пролезать в фетч и часто отставать

0

14.09.2022

Denis Vlasov Автор вопроса

Yegor
у меня опыт гошный так вот, если неверно выставить...

выставляется в консюмере?

0

14.09.2022

Yegor

Denis Vlasov
выставляется в консюмере?

да, но если у вас вообще партиция не читается, то вероятно координатор не отправляет запрос на консюмер, попробуйте логировать побольше

0

14.09.2022