184 похожих чатов

Всем привет. Хочу чуть больше понять кликхаус, чтобы понять подходит

мне данное решение или нет. Читая описание, сложилось ощущение, что может не подойти.
У меня задача писать в бд раз в n(предположим минуту) большой объем данных(статистику от IoT устройств). Значения для столбцов думаю могут превышать 60 байт и достигать килобайт.(За сутки будут проходить гигабайты данных)
Далее хочется на основании этой информации выводить всякие графики(В идеале data len прикрутить)
Но вот информация для графиков не выглядит, как мало столбов, много колонок. Похоже, что это будет много столбцов(сотни, тысячи, может больше), но в сравнении с общим кол-вом столбцов это должно быть мало.

Таким образом нарушаются вот эти рекомендации

- подавляющее большинство запросов - на чтение;
- при чтении, вынимается достаточно большое количество строк из БД, но только небольшое подмножество столбцов;
- значения в столбцах достаточно мелкие - числа и небольшие строки (пример - 60 байт на URL)
- при чтении, вынимается достаточно большое количество строк из БД, но только небольшое подмножество столбцов

При нарушении данных рекомендаций, я довольно сильно в производительности потеряю?

8 ответов

15 просмотров

не парься, пиши, потом разберёшься. Любой другой SQL сервер ты этим просто убьёшь

.- Автор вопроса
Petr Ivanov
не парься, пиши, потом разберёшься. Любой другой S...

Есть варик посмотреть в сторону InfluxDB например, но его нет в поддержке дата лен(

.
Есть варик посмотреть в сторону InfluxDB например,...

тогда это не варик :) ещё можно подумать точно ли все значения нужны с такой частотой

.- Автор вопроса
Petr Ivanov
тогда это не варик :) ещё можно подумать точно ли ...

Да, тоже думали об этом. Получается, что для аналитики такая частота действительно выглядит избыточной. Но так или иначе хочется хранить все события с такой частотой где либо.

.
Есть варик посмотреть в сторону InfluxDB например,...

timescaledb попробуйте - это PostgreSQL как раз для IoT данных timeseries

.- Автор вопроса
Artem Pershin
timescaledb попробуйте - это PostgreSQL как раз дл...

Вроде как постгря плохо перерабатывает такой объем данных за сутки

.
Вроде как постгря плохо перерабатывает такой объем...

ну так это не постгря, а отдельный большой коммерческий форк для работы с timeseries - данными, оно оптимизировано под это

.- Автор вопроса

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта