Товарищи, приветствую, столкнулся с проблемой в KAFKA-PYTHON consumer, будучи в

Question

Товарищи, приветствую, столкнулся с проблемой в KAFKA-PYTHON consumer, будучи в

группе консюмеров если с момента взятия сообщения до коммита проходит более 3-5 сек то получаю ошибку CommitFailedError: Commit cannot be completed since the group has already
rebalanced and assigned the partitions to another member.
This means that the time between subsequent calls to poll()
was longer than the configured max_poll_interval_ms, which
typically implies that the poll loop is spending too much
time message processing. You can address this either by
increasing the rebalance timeout with max_poll_interval_ms,
or by reducing the maximum size of batches returned in poll()
with max_poll_records.
Согласно ней менял параметры max_poll_interval_ms и игрался с max size batches.
автокомит отключен, комит происходит после завершения процедуры, а в процедуре есть обращение к стороннему сервису, вот когда он залипает более чем на пару сек то ловлю ошибку, если быстрее то все ок... кто нибудь сталкивался с подобным ?

#devops #programming #russian

0

15.06.2021

3 ответов

22 просмотра

Александр Автор вопроса

Artem Slaanesh
Выглядит как ребаланс, но я кафку уже лет 5 не тро...

гугл трогал и все варики что находил не подходили или говорили то что и написано в ошибке о том что надо увеличить время обработки сообщения... но это не работает

0

15.06.2021

Artem Slaanesh

Александр
гугл трогал и все варики что находил не подходили ...

Там в error message прям плейнтекстом написано про ребаланс первым делом

0

15.06.2021

Artem Slaanesh · Accepted Answer

Artem Slaanesh

Выглядит как ребаланс, но я кафку уже лет 5 не трогал https://stackoverflow.com/questions/30988002/what-does-rebalancing-mean-in-apache-kafka-context

0

15.06.2021

172 похожих чатов

Товарищи, приветствую, столкнулся с проблемой в KAFKA-PYTHON consumer, будучи в

3 ответов

Похожие вопросы