Мониторить кол-во produced сообщений в топик? > Можно ли быть уверенным,

Question

Мониторить кол-во produced сообщений в топик? > Можно ли быть уверенным,

что если мне поступают сообщения из спец. топика с ожидаемой частотой, то и с целевыми топиком/партицией тоже все ок?
это не гарантируется. они могут быть находиться на разных брокерах, например.
и еще, было бы не плохо понимать какие действия предполагается совершать ?
это такой backpressure или что-то больше ?

#kafka #russian #software

0

14.10.2019

2 ответов

7 просмотров

Alexander Sibiryakov

@Scarbo Антон, на мой взгляд это лучшее из предложенного. Только я бы это назвал по-другому. Мониторинг оффсета последнего, полученного сообщения в топике. Нужно посмотреть в API брокера, это там есть. Что получаете? Простую проверку на активность своего продюсера, если смещения не меняются долгое время, значит не пишет. Писать хартбиты на мой взгляд бессмыслено, для это цели могут использоваться сами сообщения. Сделать health check через HTTP на публикующем процессе, еще более бредовая идея. Producer, может быть мертв, а HTTP в прекрасной форме. Вам придётся пробрасывать результат от вызова send() в ответ health check, и в этом легко накосячить.

0

28.10.2019

Gleb Mekhrenin · Accepted Answer

Gleb Mekhrenin

можно заранее считать что 100% известно на каком брокере лидер - это управляемо.

0

14.10.2019

52 похожих чатов

Мониторить кол-во produced сообщений в топик? > Можно ли быть уверенным,

2 ответов

Похожие вопросы