Кто нашел способ заставить Alertmanager не пихать в одно сообщение

Question

Кто нашел способ заставить Alertmanager не пихать в одно сообщение

и FIRING и RESOLVED уведомления? Или хотя бы помечать разным цветом? Нужно разделять по цвету аварии и решенные проблемы. Я знаю, что куча issue у них на этот чет, но вдруг. Спроектирован он так, чтобы слать как можно меньше сообщений и они пихают все в один message.

#metrics #programming #russian

0

31.10.2020

15 ответов

32 просмотра

Nikolay Zaitsev Автор вопроса

а как узнать, что проблема решилась? Была временная, состояние сервиса восстановилось. Просто ждать, что алерты перестали идти?

0

31.10.2020

Aleksey Shirokikh

посмотреть в аварийном дашборде

0

31.10.2020

Slach [altinity]

route: group_by: ['...'] group_wait: 0s group_interval: 1s будет каждое сообщение отдельно пихать

0

31.10.2020

Nikolay Zaitsev Автор вопроса

не вариант вообще, смысл алертов в удобстве, чтобы взглянуть на телефон и оценить ситуацию.

0

31.10.2020

Aleksey Shirokikh

смысл алаетов в том чтобы привлечь внимание к тому что есть чтото не то. смысл резолведа ни в чем

0

31.10.2020

Stanislav Buldakov

Вроде же можно сделать отдельный шаблон на зажёгшиеся алерты и отдельный на закрытые?

0

31.10.2020

Aleksey Shirokikh

а можно линкой ?

0

31.10.2020

Stanislav Buldakov

Я на это линку не находил. Надо на работе в шаблонах покопаться

0

31.10.2020

Womchik

Будь добр

0

31.10.2020

Lamobot

У меня через prombot кустарно настроено в шаблоне сообщений: {{- range .Alerts }} {{ if eq .EndsAt "0001-01-01T00:00:00Z" -}} {{.Annotations.summary}} {{- else -}} <s>{{.Annotations.summary}}</s> {{- end -}} {{- end -}} Если время окончания алерта не стоит, тогда обычные сообщения, иначе зачеркнутые.

0

31.10.2020

Vladislav 👻 Shishkov

Хреновая практика. Непонятно, решилась ли проблема, сама решилась или помогли. Обратная связь всегда должна быть

0

02.11.2020

Aleksey Shirokikh

Не задача системы нотификации, правда?

0

02.11.2020

Vladislav 👻 Shishkov

Абстрактный случий, ты получаешь алерт через каждые N минут. Какой вывод можно сделать на основе этого?