Как в прометее ловить no data? Ситуация: - хост упал, метрики с

Question

Как в прометее ловить no data? Ситуация: - хост упал, метрики с

него больше не приходят
- jobа через автодискавери, соответственно node_exporter хоста пропадает с сервис дикавери и метрика up пропадает (== алерт когда`up == 0` не работает)

Для примера буду использовать метрику system_uptime:
- absent(system_uptime) не подходит, так как не возвращает лейблы
- absent(system_uptime{host="hostname"}) не подходит, так как хардкод
- count by(host) (system_uptime offset 6h) unless count by(host) (system_uptime) - не очень подходит (спустя шесть часов шесть часов назад метрики тоже не было - значит все ок и алерт резолвится)

Вроде бы очень стандартная фича - алертить по no data. Как вы живете с этим? Неужели для ноудат придется еще забикс отдельно поднимать 😂😂

#metrics #programming #russian

0

16.10.2020

2 ответов

21 просмотр

Anatoly Laskaris Автор вопроса

а если речь не о кубике, а о консуле, например?

0

16.10.2020

Slach [altinity] · Accepted Answer

погоди с чего вдруг оно из service discovery должно пропасть? service discovery использует apiserver если хост упал "внезапно" то в k8s apiserver node останется, статус может только поменяется и у тебя up{...} == 0 должен сработать он для этого и придуман вроде бы чтобы быть уверенными что exporters живые

171 похожих чатов

Как в прометее ловить no data? Ситуация: - хост упал, метрики с

2 ответов

Похожие вопросы