случае если контейнер помрет. Я нашел на https://samber.github.io/awesome-prometheus-alerts/rules#docker-containers два алерта.
В итоге у меня сейчас два алерта
- alert: ContainerAbsent
expr: absent(container_last_seen)
for: 30s
labels:
severity: high
annotations:
summary: Container absent (instance {{ $labels.instance }})
description: "A container is absent {{ $labels.name }}"
- alert: ContainerKilled
expr: time() - container_last_seen > 60
for: 0m
labels:
severity: warning
annotations:
summary: Container killed (instance {{ $labels.instance }})
description: "A container has disappeare {{ $labels.name }}"
У меня много серверов и по этому я алерт сделал на всё, без фильтров. Я спецом убил два контейнера на одном из серверов.
В итоге первый алерт не показывает вообще ничего (что типа все окей, алертить нечего)
А второй просто начинает постепенно алертить со всех серверов на которых все окей.
Что я делаю не так? Или у кого какие алерты на случай падения контейнеров
А каким образом убили контейнеры? Остановили? Или прямо остановили и удалили?
По разному что бы проверить на что реагирует. Где-то docker-compose stop (name), где-то docker-compose rm - sf (name)
Без полезная штука, имхо. На практике, проще алертить на сервисы в контейнерах, нежели на сами контейнеры...
такая же беда с этими алертами
я в итоге отказался от такого алерта
а зачем вы их делаете?
Обсуждают сегодня