Всем привет! дано: надо замутить мониторинг дженкинс агентов (статические и динамические

по требованию)
задача пока мониторить как используются агенты при интеграционном тестировании, насколько нагружены, хватает ли ресурсов
в дальнейшем собирать метрики при нагрузочном тестировании с серверов и генераторов нагрузки

рассматриваю два стека: всё (или часть) на prometheus или telegraf+influxdb+grafana
я выяснил что можно и прометеус из телеграф данные собирать, и кидать их в инфлюкс, и визуализировать графаной, а можно всё прометеус делать
но так как агенты у нас динамические, придётся ещё поднимать pushgateway или что-то ещё так как прометеус использует пулл модель
тогда как телеграфом можно пушить в инфлакс
плюс в прометеус кажется визуализация сильно проще графаны

у меня правильные наблюдения или лажа?
что ещё стоит рассматривать/копать при выборе стека?

Посмотри ещё на викториюметрикс, можно просто агентами собирать и в ее же хранилище пушить, формат совместимы с прометеем, но стеки мешать не придется. А агенты дженкинса динамические чем представлены? Контейнер в кубе / вм / ?

да, мне в соседнем чате тоже сказали что victoriametrics и promql более успешно в плане популярности техстека для девопс/инфра инженеров динамик агенты у нас это ec2 инстансы из кастомного ami которые поднимаются с помощью inhouse cli тулы прямо из джобы есть ещё докер контейнеры через авс эластик плагин для дженкинса поднимаемые по запросу думаю над вариантом телеграф поставить в кастомный ами и его пушить в викторию и визуализировать графаной

Для ес2 есть дискавери инстансов по тегам, можно даже не зашивать их в ами

https://docs.victoriametrics.com/sd_configs.html#ec2_sd_configs

нам надо cpu/mem/iops

Ну нодэкспортер пусть их и вывешивает, а агент Дискаверит и скрепит )

так это пулл, а кого нам пулить если дженкинс агенты динамические, мы ж их заранее должны прописать в виктории, нет? потому я и смотрю на телеграф, который сам пушит

Ну точно так же нодэкспортер ставится в ами, вывешивается на своем порту, агент виктории сканит ес2 по тегам, этот же агент кешит/пушит метрики куда ты ему скажешь, можно их поднять несколько если надо А чем сейчас остальные метрики собираете? Эта задача в существующую парадигму не вписывается?

сейчас ничем не мониторим) а агент виктории где хостится? я думал поднять victoriametrics aws managed, чтоб меньше самим поддерживать у нас дженкинс агентов с пол сотни, ради них кластер викторий агентов городить нет смысла) пытаюсь упростить схему

Да где угодно что умеет считать, оно контейнеризировано, если есть куб то есть оператор, хоть те же ес2, можно наверное даже извернуться и в фаргейте поднять, думаю дешевле выйдет чем менеджед А викторию тогда можно не только ради Дженкинса поднимать но и вообще все этим кластером мониторить, так что пригодится ))

ок, подумаю, пасиба)

Там же как я понял агент - инстанс?

где - там?

Дженкинс агент из себя что представляет - отдельный инстанс с агентом?

да

Готовишь образ с агентом и экспортерами, при старте в дискавери одном из регаешь, перед смертью дерегаешь