@Scarbo Антон, на мой взгляд это лучшее из предложенного. Только

Question

@Scarbo Антон, на мой взгляд это лучшее из предложенного. Только

я бы это назвал по-другому. Мониторинг оффсета последнего, полученного сообщения в топике. Нужно посмотреть в API брокера, это там есть. Что получаете? Простую проверку на активность своего продюсера, если смещения не меняются долгое время, значит не пишет. Писать хартбиты на мой взгляд бессмыслено, для это цели могут использоваться сами сообщения. Сделать health check через HTTP на публикующем процессе, еще более бредовая идея. Producer, может быть мертв, а HTTP в прекрасной форме. Вам придётся пробрасывать результат от вызова send() в ответ health check, и в этом легко накосячить.

#kafka #russian #software

0

28.10.2019

1 ответов

18 просмотров

Anton Sadovnikov · Accepted Answer

Да в API это есть, позволяет мониторить лаг между последним прочитанным сообщением и последним сообщением в партиции. Но даный способ будет работать только для топиков, в который постоянно пишутся сообщения, если сообщения пишутся с переменной частотой, то как мониторить «если смещения не меняются долгое время», что в данном случае будет «долгим временем», хартбиты будут гарантировать определенную частоту, но будут засорять мусором топик (как я писал выше хартбиты отправляются только если «давно» не отправлялись целевые сообщения, если трафик идет, то сами сообщения выступают в роли хартбитов)

52 похожих чатов

@Scarbo Антон, на мой взгляд это лучшее из предложенного. Только

1 ответов

Похожие вопросы