Кластер практически новый.
Туда пишу метрики пока-что из 2-х k8s кластеров при помощи promethues remote_write.
Заметил проблему, что в VictoriaMetrics метрики куда-то проваливаются (ниже скину скриншоты с prometheus и victoria-metrics)
Куда вообще копать нужно по этой проблеме? Думал изначально что проблемы с remote_write,
но проверил эту теорию при помощи метрики из prometheus
prometheus_remote_storage_exemplars_failed_total
. Там все чистенько.
Спасибо за ответ! Да, у меня на каждом проме стоит свой external_labels и дедупликация тоже включена на victoria metrics. Походу все таки проблема не в VictoriaMetrics, а в самих кубелетах GKE. В сингл-нод виктории проблема воспроизвелась. Буду разбираться. Прошу прощения за беспокойство
Обсуждают сегодня