Доброго дня! Вопрос по поводу мониторинга. Есть Prometheus Operator в

Question

Доброго дня! Вопрос по поводу мониторинга. Есть Prometheus Operator в

k8s кластере. И есть архитектура, которая содержит как ресурсы внутри куба, так и внешние на bare metall серверах. Мониторить хотим все. Планирую разделить мониторнг по окружениям(разные кластеры для этого уже есть).
Вопрос в том: стоит ли смешивать мониторинг внешних ресурсов (вне куба) и внутренних? Подскажите, считается ли хорошей практикой и есть ли подводные камни? Может лучше стоит сделать новый экземпляр Prometheus и разделить метрики в зависимости от источника?

#devops #kubernetes #programming #russian

0

16.12.2020

22 ответов

10 просмотров

George Gaál

Dmitry Sergeev 🇺🇦
можно со всех прометеусов метрики в викторию собир...

ну это отдельный вопрос

0

16.12.2020

Konstantin Podlesnyi Автор вопроса

Dmitry Sergeev 🇺🇦
можно со всех прометеусов метрики в викторию собир...

а чем это лучше обычной Grafana? Извините, если вопрос идиотский - не трогал Victoria пока

0

16.12.2020

George Gaál

Konstantin Podlesnyi
а чем это лучше обычной Grafana? Извините, если во...

victoria - это long term хранилище для прома

0

16.12.2020

Dmitry Sergeev 🇺🇦

Konstantin Podlesnyi
а чем это лучше обычной Grafana? Извините, если во...

victoria не заменяет графану. Это не визуализация. Это долгое хранение промовских метрик. Так как пром страдает очень сильно. Настолько, что люди у которых много метрик, ставят там retention в один день

0

16.12.2020

Konstantin Podlesnyi Автор вопроса

Dmitry Sergeev 🇺🇦
victoria не заменяет графану. Это не визуализация....

У нас под это дело 50Gb longhorn пока. Но я посмотрю Victoria тоже.

0

16.12.2020

George Gaál

Dmitry Sergeev 🇺🇦
victoria не заменяет графану. Это не визуализация....

+

0

16.12.2020

Denis Banschikov

Вообще собирать все метрики в кубовом кластере как по мне не есть бест практикс. Слышал много мнений, о том что система мониторинга должна иметь как можно меньше абстракции, что в свою очередь дает меньше точек отказа в вашей системе мониторинга. В большинстве случаев мониторинг является последней инстанцией, которая помогает разобрать инцидент с отказом инфраструктуры. В кубах много обстракций + нужно определенное умение эксплуатации Statefull приложений.

0

16.12.2020

Dmitry Sergeev 🇺🇦

Denis Banschikov
Вообще собирать все метрики в кубовом кластере как...

с тобой не согласяться большинство участников. Ничего не мешает держать ту же викторию отдельно. В которую уходят все метрики со всех кластеров.

0

16.12.2020

Konstantin Podlesnyi Автор вопроса

Denis Banschikov
Вообще собирать все метрики в кубовом кластере как...

Ну вопрос о выносе всей системы мониторинга за пределы куба не стоит пока) А вот попробовать Victoria в качестве внешнего хранилища - это то, что мне видимо стоит пристально исследовать

0

16.12.2020

George Gaál

Denis Banschikov
Вообще собирать все метрики в кубовом кластере как...

это не важно

0

16.12.2020

George Gaál

Konstantin Podlesnyi
Ну вопрос о выносе всей системы мониторинга за пре...

виктория может быть внутри куба, главное - не того, который мониторится ею ))))

0

16.12.2020

Konstantin Podlesnyi Автор вопроса

George Gaál
виктория может быть внутри куба, главное - не того...

Выглядит как толчок к созданию нового кластера для мониторинга и других утилитарных целей))

0

16.12.2020

George Gaál

Konstantin Podlesnyi
Выглядит как толчок к созданию нового кластера для...

++++

0

16.12.2020

Denis Banschikov

Dmitry Sergeev 🇺🇦
с тобой не согласяться большинство участников. Нич...

Возможно, это право каждого. К примеру promethues-operator сложновато мониторить внешние ресурсы. В объектах ServiceMonitor нельзя указывать путь до внешнего таргета в виде FQDN( по крайней мере на данный момент). Для себя пришел к решению кубы мониторить prometheus-operator, внешние объекты при помощи vmagent. Все это сливается в викторию

0

16.12.2020

George Gaál

Denis Banschikov
Возможно, это право каждого. К примеру promethues...

сложно, но можно

0

16.12.2020

Konstantin Podlesnyi Автор вопроса

Denis Banschikov
Возможно, это право каждого. К примеру promethues...

Да вроде можно уже. Настраиваем Service(External Name) + Endpoint и вперед

0

16.12.2020