Какими параметрами для мерджтрии лучше сжать данные? Дата, инт64,инт64, флоат64,флоат64.

-- analitics.fct_coefficient definition CREATE TABLE analitics.fct_coefficient ( dttm DateTime, pair_id UInt64, pair_rev_id UInt64, price_coef Nullable(Float64), price_coef_rev Nullable(Float64) ) ENGINE = MergeTree PARTITION BY toYYYYMMDD(dttm) PRIMARY KEY pair_id ORDER BY (pair_id, dttm) SETTINGS index_granularity = 8192;

0

14.09.2022

Илья Тищенко Автор вопроса

Denny [Altinity]
а int / float они коррелируют между собой в столбц...

-- analitics.fct_coefficient definition CREATE TABLE analitics.fct_coefficient ( dttm DateTime, pair_id UInt64, pair_rev_id UInt64, price_coef Nullable(Float64), price_coef_rev Nullable(Float64) ) ENGINE = MergeTree PARTITION BY toYYYYMMDD(dttm) PRIMARY KEY pair_id ORDER BY (pair_id, dttm) SETTINGS index_granularity = 8192;

0

14.09.2022

ivan

Илья Тищенко
-- analitics.fct_coefficient definition CREATE TA...

занятно, вы отвечали, что у вас ключ "дата и идентификатор", т.е. я понял, что сначала идёт значение с меньшим числом уникальных значений а на самом деле у вас "идентификатор и timestamp" )

0

14.09.2022

Илья Тищенко Автор вопроса

ivan
занятно, вы отвечали, что у вас ключ "дата и идент...

это текущее состояние. я пробовал и и по другому ничего не поменялось

0

14.09.2022

ivan

Илья Тищенко
это текущее состояние. я пробовал и и по другому н...

ок

0

14.09.2022

Denny [Altinity]

Илья Тищенко
-- analitics.fct_coefficient definition CREATE TA...

да просто ZSTD(1) или ZSTD(2) в конфиге, но если там просто числа рандомные, то естественно их не сжать и кодеки не помогут, если там есть что сжимать то ZSTD(2) жмет в среднем лучше чем Codec

0

14.09.2022

Илья Тищенко Автор вопроса

Denny [Altinity]
да просто ZSTD(1) или ZSTD(2) в конфиге, но если т...

Спасибо протестирую

0

14.09.2022

ivan

Denny [Altinity]
рандомы нельзя сжать, значения вообще могут повтор...

философский вопрос про компрессию zstd, очевидно, лучше жмёт, чем lz4, но это же не бесплатно, и он должен быть более "cpu прожорлив". товарищи из databricks в свое время писали, что иногда лучше недожать — а всё потому что в облачных системах место на диске обходится потребителю дешевле, чем cpu time. не знаете, есть ли какие-нибудь тесты на тему, как полный переезд на zstd в клике влияет на использование (и итоговую стоимость) cpu?

0

14.09.2022

Константин

Илья Тищенко
Спасибо протестирую

Для Float в новой версии завезли кодек, он хорош когда уникальные значения

0

14.09.2022

Denny [Altinity]

ivan
философский вопрос про компрессию zstd, очевидно, ...

у меня в системе 90% CPU свободно, никак не влияет. влияет у пользователей с загруженым CPU и высоким QPS, типа если тысяча запросов в минуту и все реалтайм - 10 мс, то заметна разница между ZSTD(1) и LZ4

0

14.09.2022

ivan

Denny [Altinity]
у меня в системе 90% CPU свободно, никак не влияет...

спасибо!

0

14.09.2022

Denny [Altinity]

Константин
Для Float в новой версии завезли кодек, он хорош к...

хорош? кажется в тестах он всегда хуже чем ZSTD и чем Gorrila

0

14.09.2022