Приветствую. Кто-нибудь собирает данные из нескольких prometheus операторов и использует

Question

Приветствую. Кто-нибудь собирает данные из нескольких prometheus операторов и использует

дашборды графаны через kubernetes-mixin?
В доке к mixin написано, что через thanos это нужно делать или Cortex.

Kubernetes-mixin can support dashboards across multiple clusters. You need either a multi-cluster Thanos installation with external_labels configured or a Cortex system where a cluster label exists.

Может есть у кого-нибудь пример? Я так понимаю, что обычная /federation не катит и нужно ставить танос или Cortex.
Да и если я забираю все job через /federation - все равно не все метрики и графики отображаются.

#devops #kubernetes #programming #russian

0

18.03.2021

9 ответов

15 просмотров

Николай Емашев Автор вопроса

Aleksey Lazarev
Обычная федерация катит только для каждого промите...

Хочу сделать т.н центральную систему мониторинга с grafana и prometheus, которая собирала бы все метрики с других prometheus операторов в k8s кластерах и можно было бы в графиках графаны смотреть данные с разных кластеров. externalLabels у каждого прометея - свой. Данные собираются через федерацию, но часть метрик теряется. Если в графиках на самом операторе все ок, на на центральном - то сетей нет, то еще каких-то данных. При этом match job!="", что скрапит все джобы. Вот я и думаю, пожет ли танос или кортекс собирать все данные и хранить их.

0

18.03.2021

Dmitry Sergeev 🇺🇦

Николай Емашев
Хочу сделать т.н центральную систему мониторинга с...

victoria metrics попробуй

0

18.03.2021

Николай Емашев Автор вопроса

Dmitry Sergeev 🇺🇦
victoria metrics попробуй

в качестве центрального? или вместо операторов?

0

18.03.2021

Dmitry Sergeev 🇺🇦

Николай Емашев
в качестве центрального? или вместо операторов?

центрального

0

18.03.2021

Николай Емашев Автор вопроса

Dmitry Sergeev 🇺🇦
центрального

получилось, настроил remoteWrite на викторию в prometheus на k8s и пошли все метрики, в дашбордах от kubernetes-mixin теперь отображаются несколько кластеров и данные такие же как на prometheus operator'ах. даже таргеты подхватились внешние. А вот как к alermanager прикрутить пока не понял. Это вообще возможно?

0

18.03.2021

Stefan

Николай Емашев
получилось, настроил remoteWrite на викторию в pro...

ну так же и с алертменеджером в каждом кластере

0

18.03.2021

George Gaál

Николай Емашев
получилось, настроил remoteWrite на викторию в pro...

Так у Вики вроде свой аналог ам, не ?

0

18.03.2021

rus dacent

George Gaál
Так у Вики вроде свой аналог ам, не ?

Да https://victoriametrics.github.io/vmalert.html

0

18.03.2021

Aleksey Lazarev · Accepted Answer

Aleksey Lazarev

Обычная федерация катит только для каждого промитея нужно указывать своей лейбл. Ты вообще сначала сформулируй что ты хочешь от "нескольких prometheus"

0

18.03.2021

172 похожих чатов

Приветствую. Кто-нибудь собирает данные из нескольких prometheus операторов и использует

9 ответов

Похожие вопросы