Привет! Есть такой не самый типичный кейс, а я в

Question

Привет! Есть такой не самый типичный кейс, а я в

плане метрик ну вообще не дока ни разу, Буду благодарен, если поможете

1. Есть условно N эндпоинтов, где 10 < N < 100. Расположены в закрытом контуре, недоступном для мониторинговой инфраструктуры. Таких контуров может быть условно до 15
2. У этих эндпоинтов есть пачка метрик, которые они умеют автоматом пушить в одно из: graphite, influx, отдавать эндпоинт прома, postgres / timescaledb. Число N может меняться, допустим, в течение дня
3. Есть некий микросервис, которого пока не существует, и который работает в том же контуре, что и N эндпоинтов. В него эндпоинты наваливают метрики (интересна именно push модель, pull - если других вариантов вообще не будет), этот же сервис их кушает, добавляет пачку своих тегов к каждой из метрик и отправляет дальше, в основное хранилище метрик. Теги в основном статические, но один из них может быть динамическим. На пути "сервис -> свалка метрик" модель слива данных может быть только push. Как свалку метрик пока вижу инфлакс с графаной для визуализации

А теперь коронный вопрос: что это за микросервис в пункте 3? Есть ли уже какие-то такие продукты / либы для популярных ЯП, или придется костылить что-то свое? Гугл молчит, но полагаю, что я плохо сформулировал вопрос

#metrics #programming #russian

0

07.04.2023

5 ответов

14 просмотров

Andrey Sinitsyn Автор вопроса

Aliaksandr Valialkin
Сервисом номер 3 должен быть vmagent - он умеет пр...

Почитаю, спасибо! Ещё бы теперь придумать, как динамически подшивать нужные лейблы к метрикам, но кажется, что этим уже завтра займусь

0

08.04.2023

Denis Ustinov

Andrey Sinitsyn
Почитаю, спасибо! Ещё бы теперь придумать, как дин...

Такое тоже может vmagent, relabeling называется

0

08.04.2023

Andrey Sinitsyn Автор вопроса

Denis Ustinov
Такое тоже может vmagent, relabeling называется

Простой relabeling а-ля Прометей здесь, к сожалению, не прокатит :( Слишком сложная логика для него, которая периодически может динамически изменяться. Всё же есть ощущение, что придётся какой-то прокси поверх всего колхозить

0

08.04.2023

Denis Ustinov

Andrey Sinitsyn
Простой relabeling а-ля Прометей здесь, к сожалени...

У вмагента есть фишки релейдинга, которых нет в прометее, так что советую почитать доку

0

08.04.2023

Aliaksandr Valialkin · Accepted Answer

Сервисом номер 3 должен быть vmagent - он умеет принимать данные по популярным push-протоколам, и отправлять их в хранилище по Prometheus remote write протоколу. См. https://docs.victoriametrics.com/vmagent.html . А вот ещё интересная статья, описывающая, как vmagent используется для похожей задачи сбора метрик в закрытых контурах - https://www.percona.com/blog/foiled-by-the-firewall-a-tale-of-transition-from-prometheus-to-victoriametrics/

171 похожих чатов

Привет! Есть такой не самый типичный кейс, а я в

5 ответов

Похожие вопросы