171 похожих чатов

Добрый день, вопрос из стэка graphite. Есть carbon-c-relay, который принимает

метрики напрямую, так и от brubeck, сейчас уже поток около чуть более 5млн/per minute, часто начали попадать в ситуацию, что метрики начинают дропаться из-за высокого LA сервера, который обрабатывает этот поток. Первым решением в лоб видится поставить более мощный сервер (сейчас оно на довольно слабом железе), но архитектурно проблема не уйдет - будет единая точка отказа, которая со временем будет только расти.
Возможно ли как-то отмасштабировать саrbon-c-relay верным образом? Мы завели еще один carbon-c-relay в другом ДЦ (у нас два дц), но проблема в том, что на каждом carbon-c-relay активно используются агрегации, поэтому чтобы метрики верно показывались, пришлось поставить 3-й carbon-c-relay, который принимает поток от 2-х (в общем, похоже на какой-то жесткий костыль)

1 ответов

21 просмотр

Можно вместо carbon-c-relay попробовать перейти на кластер vmagent'ов: - vmagent умеет принимать данные по graphite протоколу аналогично victoriametrics - см. https://docs.victoriametrics.com/Single-server-VictoriaMetrics.html#how-to-send-data-from-graphite-compatible-agents-such-as-statsd - vmagent умеет фильтровать и преобразовывать метрики с помощью relabeling rules - см. https://docs.victoriametrics.com/vmagent.html#relabeling - vmagent умеет роутить полученные метрики в разные remote storages - см. https://docs.victoriametrics.com/vmagent.html#flexible-metrics-relay , в т.ч. и в другие vmagent'ы. - vmagent умеет шардить метрики по нескольким remote storage системам - см. https://docs.victoriametrics.com/vmagent.html#sharding-among-remote-storages - vmagent умеет агрегировать метрики по времени, по части имен и по тэгам - см. https://docs.victoriametrics.com/stream-aggregation.html - vmagent умеет быстро преобразовывать graphite-имена метрик в prometheus-like имена с лейблами - см. https://docs.victoriametrics.com/vmagent.html#graphite-relabeling Если записывать полученные метрики в victoriametrics, то потом их можнл опрашивать помощью graphite api - https://docs.victoriametrics.com/#graphite-api-usage VictoriaMetrics требует в 10 раз меньше диска с памятью и в сотни раз меньше disk iops по сравнению с whisper. См. https://docs.victoriametrics.com/CaseStudies.html#grammarly

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта