Все привет. А есть у кого опыт больших инсталляций victoriametrics

Question

Все привет. А есть у кого опыт больших инсталляций victoriametrics

в синглмод?

Пытаюсь перелезть на нее с Прометея, столкнулся с проблемами на больших выборках.
На вход около 2млн метрик. И при этом пытаюсь достать через rules около 700к упираюсь в тайм-аут в 3минуты.
Прометей такое прожевывает, но при этом сильно больше хочет рамы и места )) именно поэтому и хочу с него слезть

#metrics #programming #russian

0

27.01.2021

4 ответов

25 просмотров

Lex Dolgov Автор вопроса

Конечно. Завтра скину )

0

27.01.2021

Lex Dolgov Автор вопроса

(((topk(15, sum by(host) (irate(nginx_vts_server_requests_total{code=~"(1|2|3|4|5)xx",host!="*"}[3m])))))) сравнивал на таком запросе. Свежей головой посмотрел и понял, что он кривой. Да оптимизация очень вероятно принесет свои плоды, но факт есть факт...прометей вывозил, вика нет (

0

28.01.2021

Aliaksandr Valialkin

этот запрос используется для построения графика в графане или для алертов? Если для графика в графане, то покажите, что возвращают запросы count(count_over_time(nginx_vts_server_requests_total{code=~"(1|2|3|4|5)xx",host!="*"}[1h]) и count(count_over_time(nginx_vts_server_requests_total{code=~"(1|2|3|4|5)xx",host!="*"}[5m]) в проме и в вм? Первый запрос вернет количество рядов, которые затрагиваются при выполнении запроса за последний час (см. [1h] в запросе. Второй - количество затронутых рядов за последние 5 минут (см. [5m] в запросе. Если эти значения сильно отличаются, то это означает, что старые ряды постоянно заменяются на новые (aka high churn rate). Так может происходить, если в метрике nginx_vts_server_requests_total часто меняется какой-нибудь лейбл. Ряд однозначно идентифицируется его именем плюс набором его лейблов. Если значение хотя бы одного лейбла меняется, то создается новый ряд. При high churn rate может получиться, что в каждом ряду содержится совсем маленькое количество точек (до 100 на ряд, т.е. если ряды меняются чаще, чем раз в час для 30-секундного scrape interval'а - 30с*100точек=3000 секунд). ВМ оптимизирована под хранение и обработку рядов со сравнительно большим количеством точек (более 100 на ряд). Если в большинстве рядов, участвующих в запросе, содержится маленькое количество точек, то вм может работать не очень эффективно из-за накладных расходов, связанных с распаковкой данных для каждого ряда. Подозреваю, что это ваш случай. Для определния количества новых рядов, созданных за последний час, можно выполнить запрос vm_new_timeseries_created_total[1h]) (предполагается, что для вм уже настроен мониторинг https://victoriametrics.github.io/#monitoring ). Для определения лейблов, приводящих к high churn rate, можно посмотреть на страницу /api/v1/status/tsdb .

0

29.01.2021

Aliaksandr Valialkin · Accepted Answer

Aliaksandr Valialkin

Можете скинуть запрос, который так долго выполняется?

0

27.01.2021

171 похожих чатов

Все привет. А есть у кого опыт больших инсталляций victoriametrics

4 ответов

Похожие вопросы