184 похожих чатов

Здравствуйте! Есть такой вопрос У меня есть табличка А, в

которой много партиций и целая куча партов (10к, например). Сделано это из-за того, что мне нужно проводить операции над партициями

Я хочу разделить данные на горячие и холодные, горячие данные оставить как есть, а на холодных сделать другой фактор партиционирования, что бы уменишь большое количество партов (в кх есть настройка, что при переносе данных можно начать мерж). Я нашел, что кх это умеет, но можно ли как-то на диске с холодными данными создать таблицу с другими настройками ?
Спасибо

14 ответов

19 просмотров

КХ из коробки не умеет в гибридное партиционирование на данный момент. Но можно создать отдельно таблицу с более крупным партиционированием, и в неё через фриз атач кидать новые парты и мерджить.

Mishanya- Автор вопроса
【D】【J】
КХ из коробки не умеет в гибридное партиционирован...

А что произойдет, если я настрою перенос данных из коробки, но на диске с холодными данными будет другое партиционирование ? Наверное, не стоит так делать ?)

Mishanya
А что произойдет, если я настрою перенос данных из...

не получится сделать разные партиционирования на одной таблице.

Mishanya
А что произойдет, если я настрою перенос данных из...

https://github.com/ClickHouse/ClickHouse/issues/16565 https://github.com/ClickHouse/ClickHouse/issues/13826 https://github.com/ClickHouse/ClickHouse/issues/8089

Mishanya
А что произойдет, если я настрою перенос данных из...

вы не сможете. партиционирование в ДДЛ таблицы... дайте пример ДДЛа как вы это делать будете?

нельзя

Mishanya- Автор вопроса
【D】【J】
вы не сможете. партиционирование в ДДЛ таблицы... ...

create table (…) ENGINE = SummingMergeTree(…) PARTITION BY YYYYMMDD(date); это для горячих данных create table (…) ENGINE = SummingMergeTree(…) PARTITION BY YYYYMM(date); для холодных

【D】【J】
КХ из коробки не умеет в гибридное партиционирован...

не сработает аттач. Там проверка что партиционирование совпадает

Mishanya
create table (…) ENGINE = SummingMergeTree(…) PART...

ну так это две разные таблицы же!

Mishanya
create table (…) ENGINE = SummingMergeTree(…) PART...

можете сделать 2 МВ навесить на эти две таблицы, все будет ОК

Denny [Altinity]
не сработает аттач. Там проверка что партициониров...

а в чём изначально смысл этой проверки? от чего она предохряняет? Может лучше её выпилить?

【D】【J】
а в чём изначально смысл этой проверки? от чего он...

так с точки зрения приемника это может быть 10 партов а не один.

Denny [Altinity]
так с точки зрения приемника это может быть 10 пар...

а, ну да, не подумал. А как то умную проверку сделать наверно можно по мин-максам полей из ключа партиционирования. если они бьются на несколько - фейл. если нет разрешить. Будет полуручное гибридное партиционирование, не?

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта