При вычитывании накопившегося лога Consumer периодически логирует Error sending fetch

Question

При вычитывании накопившегося лога Consumer периодически логирует Error sending fetch

request ... org.apache.kafka.common.errors.DisconnectException.
После вычитки истории и перехода на чтение новых сообщений (поток снижается при этом в ~30 раз) ошибки пропадают.
Подскажите, в чем может быть дело и куда копать?

#kafka #russian #software

0

01.06.2020

3 ответов

8 просмотров

Alex

Поставьте размер батча поменьше

0

01.06.2020

Григорий Доможиров Автор вопроса

Разобрался. Приложение упиралось в 100 мбит сеть. Было около 100 независимых консюмеров, каждый из которых делал fetch реквесты с дефолтным 50мбайт максимальным размером и дефолтным 30сек таймаутом. Соответственно, не все 50метровые батчи успевали закачаться за 30 секунд. Помогло уменьшение fetch.max.bytes или max.partition.fetch.bytes. В чем разница между fetch.max.bytes и max.partition.fetch.bytes? Первое - ограничение на батч в ответ на fetch от консьюмера. Второе - "maximum amount of data per-partition server will return" -cколько байт сервер вернет с одной партиции. Ведь тоже на fetch? В чем отличие?

0

02.06.2020

🎱𝕷𝖙𝖍𝖒🌙 · Accepted Answer

🎱𝕷𝖙𝖍𝖒🌙

Может glowroot?

0

01.06.2020

52 похожих чатов

При вычитывании накопившегося лога Consumer периодически логирует Error sending fetch

3 ответов

Похожие вопросы