отдельный прометеус, который скрапит метрики с систем вне k8s и через /federation забирает все джобы с кластера k8s.
'match[]':
- '{job!=""}'
В алертах прометея на k8s - все ок, а вот на отдельном с федерацией - ругается на недоступность kube api, хотя все остальные проверки - норм.
- "alert": "KubeAPIDown"
"expr": |
absent(up{job="kube-apiserver"} == 1)
В какую сторону можно копнуть? k8s - только один кластер через федерацию работает. Получается, что в исходном варианте метрика возвращает ноль, а через федерацию - единицу. Как такое может быть?
метрику up{job="kube-apiserver"} смотрели на prometheus вне кластера и внутри? есть подозрение что метрика up не скрейпится через federation ;)
внутри у этой метрики тоже пусто. up{job="kube-apiserver"} Empty query result Через federation - no values. Но почему-то алерт по KubeApiDown висит на внешнем, а на внутреннем - нет :\
Обсуждают сегодня