в ее labels есть "call_name" и "http_status_code"
Есть alert следующего вида
IF delta(rpc_server_full_duration_seconds_count{call_name=~"5[0-9]{2}"}[5m]) > 0
Проблема: допустим, как-то call_name выкинул 500-ку
С точки зрения prometheus такой метрики не было, она появилось вот только что.
Условие alert'а не срабатывает, потому что delta между undefined и 0 равна нулю
Алерт высвечивается только в ситуации, когда ошибка повторяется второй раз
Каким образом мне изменить условие alert'а так, чтобы
1) ловить изменения значения метрики (текущее условие это уже умеет)
2) ловить ситуации вида undefined => 0 (текущее условие такое не ловит)
?
Насколько я знаю - никак. Вот похожий вопрос - https://stackoverflow.com/questions/39141052/how-to-write-a-rule-to-notify-about-metric-updates Надеюсь меня поправят, если я не прав.
Обсуждают сегодня