172 похожих чатов

Люди, подскажите пожалуйста, есть одна таблица в postgres, колонок из

20-30, куда будет сыпаться относительно много записей, причём около 3/4 колонок в каждой записи будет заполнено нулями. Как оптимизировать подобное в плане экономии места и памяти?

17 ответов

20 просмотров

Записи это временные ряды?

А какой цэлевой смысл в полях, которые будут заполнены нулями?

Твой Знакомый- Автор вопроса
Ilya Anfimov
А какой цэлевой смысл в полях, которые будут запол...

Там телеметрия. Смысл в неподключенном (пока или вообще) оборудовании.

Твой Знакомый
Там телеметрия. Смысл в неподключенном (пока или в...

То есть это не числовое значение "0", а отсутствие данных. Такие вещи в SQL-базах принято обозначать значением Null. Заодно оно займёт 1 бит на каждое значение на диске...

Твой Знакомый- Автор вопроса
Ilya Anfimov
То есть это не числовое значение "0", а отсутствие...

А можно чтобы даже бита не занимало? Чтобы фактически были записаны только существующие значения, Индексы по этим колонкам вроде не нужны.

Твой Знакомый- Автор вопроса
Ilya Anfimov
Нет.

Понял, обойдёмся NULLами) А там может и timescale чем поможет.

Твой Знакомый
Понял, обойдёмся NULLами) А там может и timescale ...

Timescaledb пожмёт лучше чем один бит на каждый null

Твой Знакомый- Автор вопроса
Sergey
Timescaledb пожмёт лучше чем один бит на каждый nu...

лишь бы время выборки не увеличилось от такого пожима.

Твой Знакомый
лишь бы время выборки не увеличилось от такого пож...

Обычно даже уменьшает, ибо основное время это чтение дисков, которое дороже чем время на декодирование/разжатие

Твой Знакомый- Автор вопроса
Sergey
Обычно даже уменьшает, ибо основное время это чтен...

Потом приду с вопросом как последние полгода держать полностью в памяти))

Sergey
Timescaledb пожмёт лучше чем один бит на каждый nu...

Насколько я понял — timescale ещё и с потерями жмёт.

Твой Знакомый
Потом приду с вопросом как последние полгода держа...

Регулярно греть разве что (пока что только так).

Твой Знакомый- Автор вопроса
Ilya Anfimov
Насколько я понял — timescale ещё и с потерями жмё...

Что значит с потерями? значения при чтении изменятся?

Твой Знакомый
Что значит с потерями? значения при чтении изменят...

Насколько я понял — да, hypertable кажэтся в обязательном порядке усредняет значения к указанным интэрвалам. Но, возможно, это и необязательно.

Ilya Anfimov
Насколько я понял — timescale ещё и с потерями жмё...

https://github.com/timescale/timescaledb/issues/2529 тут всё сказано по этому поводу. Краткий ответ - нет, но если вы сами подрежите флоты, то они сожмутся лучше

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта