Добрый день, вопрос из стэка graphite. Есть carbon-c-relay, который принимает

Question

Добрый день, вопрос из стэка graphite. Есть carbon-c-relay, который принимает

метрики напрямую, так и от brubeck, сейчас уже поток около чуть более 5млн/per minute, часто начали попадать в ситуацию, что метрики начинают дропаться из-за высокого LA сервера, который обрабатывает этот поток. Первым решением в лоб видится поставить более мощный сервер (сейчас оно на довольно слабом железе), но архитектурно проблема не уйдет - будет единая точка отказа, которая со временем будет только расти.
Возможно ли как-то отмасштабировать саrbon-c-relay верным образом? Мы завели еще один carbon-c-relay в другом ДЦ (у нас два дц), но проблема в том, что на каждом carbon-c-relay активно используются агрегации, поэтому чтобы метрики верно показывались, пришлось поставить 3-й carbon-c-relay, который принимает поток от 2-х (в общем, похоже на какой-то жесткий костыль)

#metrics #programming #russian

0

28.08.2023

1 ответов

8 просмотров

Aliaksandr Valialkin · Accepted Answer

Можно вместо carbon-c-relay попробовать перейти на кластер vmagent'ов: - vmagent умеет принимать данные по graphite протоколу аналогично victoriametrics - см. https://docs.victoriametrics.com/Single-server-VictoriaMetrics.html#how-to-send-data-from-graphite-compatible-agents-such-as-statsd - vmagent умеет фильтровать и преобразовывать метрики с помощью relabeling rules - см. https://docs.victoriametrics.com/vmagent.html#relabeling - vmagent умеет роутить полученные метрики в разные remote storages - см. https://docs.victoriametrics.com/vmagent.html#flexible-metrics-relay , в т.ч. и в другие vmagent'ы. - vmagent умеет шардить метрики по нескольким remote storage системам - см. https://docs.victoriametrics.com/vmagent.html#sharding-among-remote-storages - vmagent умеет агрегировать метрики по времени, по части имен и по тэгам - см. https://docs.victoriametrics.com/stream-aggregation.html - vmagent умеет быстро преобразовывать graphite-имена метрик в prometheus-like имена с лейблами - см. https://docs.victoriametrics.com/vmagent.html#graphite-relabeling Если записывать полученные метрики в victoriametrics, то потом их можнл опрашивать помощью graphite api - https://docs.victoriametrics.com/#graphite-api-usage VictoriaMetrics требует в 10 раз меньше диска с памятью и в сотни раз меньше disk iops по сравнению с whisper. См. https://docs.victoriametrics.com/CaseStudies.html#grammarly

171 похожих чатов

Добрый день, вопрос из стэка graphite. Есть carbon-c-relay, который принимает

1 ответов

Похожие вопросы