Всем привет! Хочу использовать ClickHouse для сбора данных с устройств

Question

Всем привет! Хочу использовать ClickHouse для сбора данных с устройств

(ADAM-6000) с общим количеством параметров около 50-100 шт с частотой 300-500 мсек. Само приложение на .NET, хотя это неважно. Хотя пока для клиентской части аналитики особой не надо, кроме быстрых SELECT'ов. Целесообразно ли в данном случае использовать ClickHouse в данном OLTP сценарии? Спасибо!

#backend #clickhouse #database #devops #programming #russian

0

12.08.2021

8 ответов

12 просмотров

rentoc Автор вопроса

【D】【J】
Если задержка вставки не важна, то можно через буф...

Спасибо за разъяснения. Тогда лучше PostgresSQL или MariaDB буду использовать

0

12.08.2021

Dan Petrov

rentoc
Спасибо за разъяснения. Тогда лучше PostgresSQL ил...

Если я правильно понимаю, у вас получится: 1сек ~ 150-300 метрик. Если они не поля таблицы, то это 150-300 строк в секунду, размером минимум(на практике будет больше) - id,metric_id,metric_value + индекс по metric_id(это id,meric_lid) Итого: грубо 300 строк размером больше 5 * 4байта (минимум размер поля int) = 6Кб на секуду замеров. 9.3ярда строк и от56гиг размер таблицы за год. Это очень грубо, но прикиньте сколько вам нужно хранить данных, за какой период и какой производительности "мускуль" вам нужен. ЗЫ: date_time я провтыкал в расчётах

0

12.08.2021

rentoc Автор вопроса

Dan Petrov
Если я правильно понимаю, у вас получится: 1сек ~ ...

Вот и я поэтому призадумался, не использовать ли ClickHouse? Кое какая аналитика будет, но в основном надо будет в клиентском приложении быстро отображать данные за любой период. Тем более у клика есть сжатие. Пока в сомнениях.

0

12.08.2021

Vladimir Goncharov

rentoc
Вот и я поэтому призадумался, не использовать ли C...

клик берут тогда, когда мускула/постгри уже недостаточно, либо зуже раньше с кликом работают и на 100% понимают, что он здесь нужен

0

12.08.2021

Gene Makarov

ну вполне себе юзкейс CH как мне кажется

0

12.08.2021

rentoc Автор вопроса

Gene Makarov
ну вполне себе юзкейс CH как мне кажется

Хм, в моем юзкейсе данные не надо всегда агрегировать, иногда м.б. надо показывать всякие средние за период, а так данные надо хранить в raw виде и отдавать клиенту быстрыми SELECT'ами.

0

12.08.2021

Denny [Altinity]

rentoc
Хм, в моем юзкейсе данные не надо всегда агрегиров...

у PG есть timescale для такого, и старые данные можно там пожать

0

12.08.2021

【D】【J】 · Accepted Answer

【D】【J】

Если задержка вставки не важна, то можно через буфер/кафку вставлять. Но если не будет аналитики - нецелесообразно. Лучше базу, которую люди умеют пользовать и администрировать.

0

12.08.2021

184 похожих чатов

Всем привет! Хочу использовать ClickHouse для сбора данных с устройств

8 ответов

Похожие вопросы