Привет. Есть какой-то true-way по настройке vmalert в части корректного

реагирования на падения vmstorage нод? Если 1 из 3х в кластере (RF 2) падет по OOM - то vmalert (2 шт) на какой-то момент теряет метрики и наступает локальный ад… т.е. все что было открытым - закрывается и потом, как нода оживает, снова переходит в pending состояние, ну и через какое-то время в fired.

Для “штатного” обновления написали плейбук что бы останавливать vmalerts перед обновлением vmstorage… Но, возможно, есть другой путь?

3 ответов

35 просмотров

не понятно почему при потере 1ноды с RF=2 теряются метрики - ведь репликация как раз и должна помочь этого избежать? "все что было открытым - закрывается и потом, как нода оживает, снова переходит в pending состояние" и еще вот это не понял совсем

Alexander-Konyukov Автор вопроса

наверно да, надо в этом направлении копать… Спасибо. > и еще вот это не понял совсем vmalert закрывает все активные алерты, т.к. данных нет - решает (видимо) что проблема решена.

Alexander Konyukov
наверно да, надо в этом направлении копать… Спаси...

vmalert работает по следующему принципу: 1. Если rule expression возвращает хоть какие-то данные - значит алерт активен. 2. Если у алерта стоит for>0, то активен он становится только если прошло for времени, в течении которого каждый evaluation_interval выполнялся пункт 1. 3. Если expression возвращает несколько серий - каждая серия становится отдельным алертом со своим состоянием (и своим собственным for). 4. Для каждого активного "горящего" алерта вмалерт отправялет сообщение в алертменеджер каждый evaluation_interval. 5. Если алерт становится не активным - вмалерт ничего не отправляет. Дальше все зависит от настроек алертменеджера

Похожие вопросы

Обсуждают сегодня

Всем привет) Я попробовал турбо роутер октябрьский. Вроде доволен, но возникла проблемка) Бутстраповские модалки плодят .modal-backdrop элементы Если модалка открыта, должне...
Виталий
3
Так а кто может спарсить всех участников чата? Идишники
Magic
18
да пофиг на капчу зашел в чат и молчишь при этом ты нонейм? пошел вон
Magic
17
Я тебе про общие вопросы, а не про узконаправленные . Ты че будешь в чате спрашивать как хтмл разметку сделать?!
rusteg
3
Как удалить health check в Consul? Казалось бы, это должно быть не сложно, но я не могу найти в документации ничего про это, только про добавление service с health check "в н...
Roman
2
Привет, кто может сделать юзербота с апи? Задачи: - создавать группы - создавать каналы - задавать для созданных каналов аватарку или эмоджи, имя группы - добавлять в группы...
Lencore
13
Privet! Mozhet jesti ideji - nemogu sdelatj upload backup s filestore cerez WEB. Fail okolo 450mb, eto mozhet bitj prichinoi? Nemogu ponjatj..kak zagruzitj backup... Poluchaju...
Matiss 🤘 Black Oak IT 🌳 Batumi 🌴 Latvija
5
Всем доброго вечера! Хочу поделиться своим злоключением с человеком, который, как оказалось сюда тоже скидывал свое резюме. Жаль, что я вашу группу не нашел раньше… человек ки...
Роман Ахмедзянов
4
Хотя вроде админка показывает удаленные модели, да? @dblackCat
Виталий
2
Нужно магазин с тильды на опен кат перенести Есть кто умеет? В лс
Magic
8
Карта сайта