Привет! Помогите пожалуйста разобраться: 1. Есть прометей, шлет в vmsingle, в

Question

Привет! Помогите пожалуйста разобраться: 1. Есть прометей, шлет в vmsingle, в

метрике samples rate "rate(prometheus_remote_storage_samples_pending{remote_name="$remote_name"}[5m])" вижу что в среднем 5к из 240к семплов в pendinge
2. В виктории когда запрашиваю метрику например idrac_systemWatts (она из этого прометея прилетает) то в логах вижу
"warn VictoriaMetrics/app/vmselect/main.go:460 error in "/api/v1/labels?end=1636115211&start=1636111611": cannot obtain labels on time range: error during labels search on time range: deadline exceeded"
И метрика increase(vm_http_request_errors_total{path="/api/v1/labels"}[1m]) > 0 тригерится и алерт соответственно
3. Не наблюдаю в виктории чтобы упиралось в ресурсы. Concurent flushes on disk не поднимается выше 10 из 30 максимально. Свободно 20% диска. Запись достигает не более 30MB/s

Получается виктория с опозданием записывает на диск семплы для некоторых тайм серий, почему так? Что подкрутить чтобы норм записывало?
Любые графики могу выслать если нужно

#russian #software #victoriametrics

0

05.11.2021

3 ответов

23 просмотра

dan4ex Автор вопроса

Aliaksandr Valialkin
1. В запросе лишний rate . Там метрика - gauge, по...

Обновил с 1.67.0 -> 1.68.0. Помогло, при запросах проблем не вижу Спасибо большое!

0

06.11.2021

Terry Filch

dan4ex
Обновил с 1.67.0 -> 1.68.0. Помогло, при запросах ...

обращайтесь😊

0

06.11.2021

Aliaksandr Valialkin · Accepted Answer

1. В запросе лишний rate . Там метрика - gauge, поэтому ее не нужно заворачивать в rate 2. Такая ошибка может быть вызвана по двум причинам: в базе хранится слишком много разных имен лейблов; в коде вм есть какая-то бага, из-за которой этот запрос уходит в бесконечный цикл. Попробуйте обновить вм до последней версии - 1.68.0 на данный момент - и проверьте, поможет ли это решить ошибку

52 похожих чатов

Привет! Помогите пожалуйста разобраться: 1. Есть прометей, шлет в vmsingle, в

3 ответов

Похожие вопросы