у разрабов была возмоность самим настраивать алерты на те приложения за которые они ответственны. Пока курчусь возле идеи позвлоить разрабам хранить rules AlertManager в git и деплоить через jenkins на сервер с прометеем.
Как кто решает задачу предоставить разрабам такую возможность?
логично загнать всех в кубеня, где они смогут добавлять специальные аннотации, по которым централизованный прометеус будет собирать свой конфиг
Да используй Prom Operator. Разработчики смогут через CRD создавать как экспортеры для Прома, так и алерты
Думаю про такой варик. Задеплою еще один prometheus инстанс, дублирую на него метрики через remote_write и там разработчикам отдам правку правил alertmanager.
в графану вывести, а там каждый дешборд с алертами как хочет себе настроит, без лишних заморочек с хранением alert rules где-то
Обсуждают сегодня