Здравствуйте. Хотелось бы узнать корректность схемы таблицы. CREATE TABLE <table name>

Question

Здравствуйте. Хотелось бы узнать корректность схемы таблицы. CREATE TABLE <table name>

(ServerName String, MetricName String, CreatedAt DateTime, Value Float) ENGINE = MergeTree() ORDER BY (ServerName, MetricName, CreatedAt) PARTITION BY (ServerName, toYYYYMM(CreatedAt))
Серверов мало, метрик чуть побольше (около 200 на каждый сервер), а вот собираются данные каждую секунду, так что по итогу строк много.
У меня возникает сразу же несколько вопросов:
1) Целесообразна ли здесь замена строк на целые числа? (т.е. вместо ServerName String использовать ServerId UInt16)
2) Подойдёт ли такая схема для того, чтобы данные можно было визуализировать --- выбирать определённый сервер, несколько метрик, определённый промежуток времени и отображать соответственно данные (агрегация на уровне avg, median)?
3) Подходит ли вообще эта БД для такого типа задач? Есть всякие Prometheus, но возникает проблема с историческими данными и с их количеством.
4) Можно ли как-то улучшить схему?

#backend #clickhouse #database #devops #programming #russian

0

18.06.2021

14 ответов

9 просмотров

Denny [Altinity]

лучше всего закодировать сервер в id метрики, просто сквозная нумерация и хранить только 3 поля. расшифровку Metric хранить в mysql или в отдельной таблице в КХ + словарь (Metric UInt32, CreatedAt DateTime, Value Float CODEC(Delta?/Gorilla?, ....) ) ENGINE = MergeTree() ORDER BY (Metric, CreatedAt) в victoria metrics все это уже решено и оптимизировано внутри и огромный плюс victoria поддерживает promql

0

18.06.2021

Slach [altinity]

Denny [Altinity]
лучше всего закодировать сервер в id метрики, прос...

ну не сказал бы что прямо promql это такой уж плюс всякие if внутри instant vector не поделать

0

19.06.2021

Savvy Bonker Автор вопроса

Denny [Altinity]
лучше всего закодировать сервер в id метрики, прос...

Спасибо. Я и то, и другое решение сравню

0

19.06.2021

Savvy Bonker Автор вопроса

Denny [Altinity]
лучше всего закодировать сервер в id метрики, прос...

Поигрался я с VM, интересная вещь и Grafana из коробки поддерживает, не так долго пришлось разбираться с настройкой панели, но данные вставлять --- это боль, надо разобраться с нативным форматом, чтобы это выполнять операцию быстро, а для CH есть clickhouse-driver, который работает очень даже быстро

0

19.06.2021

Denny [Altinity]

Savvy Bonker
Поигрался я с VM, интересная вещь и Grafana из кор...

данные? вставлять? В смысле у вас неоткуда скрепать метрики в формате прометея?

0

19.06.2021

Savvy Bonker Автор вопроса

Denny [Altinity]
данные? вставлять? В смысле у вас неоткуда скрепа...

Можно было бы данные в реал-тайме получать, но, если честно, задача немного другая, но а это как пример. Я упомянул исторические данные, с ними беда (скорость вставки). А так данные собираются в одном файле за час, потом его надо прочитать и за этот последний час вставить данные

0

19.06.2021

Savvy Bonker Автор вопроса

Denny [Altinity]
данные? вставлять? В смысле у вас неоткуда скрепа...

Извините за то, что я не разбираюсь в этой теме, но если исходить из моего последнего комментария, то что лучше выбрать или разницы нет особой?

0

20.06.2021

Vladimir Goncharov

Savvy Bonker
Извините за то, что я не разбираюсь в этой теме, н...

В VM данные будут занимать места сильно меньше, чем в клике. Берите VM.

0

20.06.2021

Savvy Bonker Автор вопроса

Vladimir Goncharov
В VM данные будут занимать места сильно меньше, че...

Хорошо, спасибо. Правда, придётся поприседать с бинарным форматом

0

21.06.2021

Vladimir Goncharov

Savvy Bonker
Хорошо, спасибо. Правда, придётся поприседать с би...

У них вроде и не бинарный есть. По крайней мере для вставки - точно

0

21.06.2021

Savvy Bonker Автор вопроса

Vladimir Goncharov
У них вроде и не бинарный есть. По крайней мере дл...

Да, есть не только они (всеразличные JSON, CSV и т.п.), но по скорости самый быстрый --- бинарный. Проблема с тем, что если вставлять в JSON, то придётся долго ждать, пока вставятся данные за 5 лет

0

21.06.2021

Vladimir Goncharov

Savvy Bonker
Да, есть не только они (всеразличные JSON, CSV и т...

я так данные из инфлюкс дб переносил за 5 лет. меньше чем за сутки всё перенеслось. сидеть и разбираться в бинарном протоколе гораздо дольше. померяйте скорость вставки - если за пару дней уложитесь, то к чёрту этот бинарный протокол

0

21.06.2021

Savvy Bonker Автор вопроса

Vladimir Goncharov
я так данные из инфлюкс дб переносил за 5 лет. мен...

Звучит рационально

0

21.06.2021

Vladimir Goncharov · Accepted Answer

Vladimir Goncharov

1) можно не париться 2) да 3) victoria metrics как раз для этого

0

18.06.2021

184 похожих чатов

Здравствуйте. Хотелось бы узнать корректность схемы таблицы. CREATE TABLE <table name>

14 ответов

Похожие вопросы