Добрый вечер, нужна подсказка или что почитать по сжатию данных

Question

Добрый вечер, нужна подсказка или что почитать по сжатию данных

кликхауса
интересен конфиг <compression> и какие параметры как влияют, может кто разбирал

Есть большое желание как-то снизить размер данных на диске, а заодно понять как этот блок можно использовать и к чему это приводит.

Наверно первый вопрос, можно ли на рабочей БД поменять тип сжатия на zstd и потом вернуть дефолт (Вопрос в том, насколько безопасно менять тип сжатия, не повредятся ли данные)?

#backend #clickhouse #database #devops #programming #russian

0

20.07.2021

9 ответов

20 просмотров

Tatiana [Altinity]

Ничего страшного не случится, если данные пожаты разными методами. Все прочитается успешно.

0

20.07.2021

Denny [Altinity]

там вроде все понятно из описания? Проблем поменять туда сюда нет, но менять надо на обеих репликах как можно более одновременно

0

20.07.2021

Витя Сергеев Автор вопроса

Denny [Altinity]
там вроде все понятно из описания? Проблем поменят...

Возможно мне просто сложно понять) Хм, но кажется раза с 10 понял, но не до конца. "Минимальный размер части таблицы" Что за часть и как она определяется, первая мысль была про партицию. Сейчас появилось другое понимание: Например 2 case: У одного минимальный размер части 10.000 У второго 40.000 Если в таблице 100.000 строк, он для 80.000 использует второй кейс а для оставшихся первый? Если в таблицу прилетит ещё 20.000 записей он возьмет те 20.000 из первого кейса, сложит с новыми и сожмет по второму(40к) кейс?

0

20.07.2021

Denny [Altinity]

Витя Сергеев
Возможно мне просто сложно понять) Хм, но кажется ...

каждый инсерт создает парт уровня _0. после n insert-в образуется n партов _0. шедулер мержей анализирует постоянно, и в какой-то момент принимает решение, m первых партов пора cмержить в единый парт, получается парт уровня _1 парты разных уровней постоянно мержатся из мелких в крупные все это в рамках ОДНОЙ партиции и так все продолжается пока размер партов не достигнет макс. размера 150ГБ. И например мерж решает помержить 6 каких-от партов, считает общий размер этих партов, если размер больше 100000000, то жмем ZSTD, меньше LZ4 , таким образом все парты со временем становятся пожатыми ZSTD, пока они маленькие и постоянно ре-мержатся в более крупные, они пожаты LZ4. для _0 используется размер несжатого парта

0

20.07.2021

Витя Сергеев Автор вопроса

Denny [Altinity]
каждый инсерт создает парт уровня _0. после n inse...

посмотрел, самый большой парт с именем 202107_21608_37058_24_29583, получается он пережил 29583 мерждой?

0

20.07.2021

Витя Сергеев Автор вопроса

Denny [Altinity]
каждый инсерт создает парт уровня _0. после n inse...

вот на самом деле с таким объяснением и запросом с получением этих партов сильно понятнее стало )

0

20.07.2021