Всем привет! Есть широкая таблица с несколькмим колонками String в

Question

Всем привет! Есть широкая таблица с несколькмим колонками String в

которую уже неколько лет пишутся данные. Данные - разные, но значения в этих колонках из ограниченного множества.
Насколько больно преобразовывать из обычной колонки в LowCardinality и стоит ли оно того?

ALTER TABLE table
MODIFY COLUMN column LowCardinality(String),

#backend #clickhouse #database #devops #programming #russian

0

10.02.2021

4 ответов

13 просмотров

Denis Dorozhkin Автор вопроса

Slach [altinity]
достаточно больно, но это того стоит. выигрыш може...

На одном шарде так compressed 485,166,083,254 uncomressed 5,669,734,195,840 Ну сжатие ориентировочно на порядок идет

0

10.02.2021

Slach [altinity]

Denis Dorozhkin
На одном шарде так compressed 485,166,083,254 unco...

То есть пол терабайта на шард диски сколько последовательное чтение выдают? место есть свободное? как вариант можно попробовать протестировать INSERT INTO table_with_low_cardinality_schema SELECT FROM table WHERE ... и сравнить что будет на выходе и как влияет в общем достаточно больно будет, но прососать должно можно поиграться с background_schedule_pool_size чтобы оно не сильно много потоков одновременно запустило. но это замедлит конвертацию... по идее чтение при этом не должно прерываться... и таблица вроде бы не блокируется

0

10.02.2021

Denis Dorozhkin Автор вопроса

Slach [altinity]
То есть пол терабайта на шард диски сколько послед...

Спасибо большое! Будем тестить

0

10.02.2021

Slach [altinity] · Accepted Answer

достаточно больно, но это того стоит. выигрыш может быть весьма значительный особенно если кардинальность в пределах блоках действительно небольшая сколько у вас там данных в байтах на диске по колонкам из system.columns? фактически у вас по объему чтения \ записи на диск это будет равносильно OPTIMIZE TABLE FINAL

184 похожих чатов

Всем привет! Есть широкая таблица с несколькмим колонками String в

4 ответов

Похожие вопросы