Есть интересный вопрос. Мне надо собирать и хранить произвольные метрики (они

Question

Есть интересный вопрос. Мне надо собирать и хранить произвольные метрики (они

будут пушиться) вида: название, тэги, длительность
Метрик будет около тысячи в секунду.
Особенность в том что метрики в прошлом надо мерджить, например за вчера мерджить по часам и не хранить все тысячи, время брать среднее/персентили/что-то еще. За прошлый месяц мерджить по дням и т.д.

Есть под этого какие-то готовые инструменты, БД? Подскажите куда копать и где искать.

#metrics #programming #russian

0

16.06.2023

13 ответов

37 просмотров

Юрий Самойленко Автор вопроса

Terry Filch
https://habr.com/ru/companies/avito/articles/46799...

тоесть БД Clickhouse, сжатие по крону средствами ClickHouse, Graphite как query интерфейс к этим данным?

0

16.06.2023

Roman Navrotskii

звучит как downsampling. выбирай системы с этой фичей. у виктории есть за деньги

0

16.06.2023

Roman Navrotskii

Юрий Самойленко
тоесть БД Clickhouse, сжатие по крону средствами C...

кликхауз, на глаз — оверкил. если сравнить стоимость уверен, что там будет не в его пользу с разницей x10-x100 =))

0

16.06.2023

Aleksey Shirokikh

Звучит будто вы путаете хранение и обработку

0

16.06.2023

Юрий Самойленко Автор вопроса

Aleksey Shirokikh
Звучит будто вы путаете хранение и обработку

возможно. прежде всего хочется сформировать в голове именно модель. как мержатся(даунсэмплятся?) данные и найти минимально просто инструмент для этого. Например достаточно ли будет просто запуска influxDB и пары cron-задач, или можно ли это сделать прям в виктории

0

16.06.2023

Aleksey Shirokikh

Юрий Самойленко
возможно. прежде всего хочется сформировать в голо...

Я бы принимал данные как есть и хранил бы как пришли а на отображении считал всё что надо. Но я не понимаю природу ваших данных и задачу

0

16.06.2023

Юрий Самойленко Автор вопроса

Aleksey Shirokikh
Я бы принимал данные как есть и хранил бы как приш...

хотим сделать простую (не специализированный) систему для хранения и отображения метрик произвольных. Хотим добавить например графики/статистику по длительности бизнес-процесса произвольного - на каждом завершении пушим "name=process1;tags=[test,smev];duration=5h" и потом по этим данным строить графики. ключевое тут простота. Но хранить все эвенты поштучно тоже нет необходимости, данные за прошлую неделю можно агрегировать по часам, а за прошлые месяцы по дням. duration(и иные поля агрегировать возможно по разному - по среднему, по min/max) Мы можем это сделать (и раньше в подобных ситуациях делали) но обычной Postgres, ручную агрегацию и пр., но сейчас нагрузка чуть выше и хочется взять подходящий инструмент.

0

16.06.2023

Aleksey Shirokikh

Юрий Самойленко
хотим сделать простую (не специализированный) сист...

Хранить все евенты в кликхаусе и считать агрегаты на выдаче

0

16.06.2023

Terry Filch

Юрий Самойленко
хотим сделать простую (не специализированный) сист...

может вам взять glaber.io? кликхаус и расширенный функционал Z

0

16.06.2023