Подскажите пожалуйста можно ли делать партицию по обновляемому полю ```sql CREATE TABLE

Question

Подскажите пожалуйста можно ли делать партицию по обновляемому полю ```sql CREATE TABLE

table(
id FixedString(512) NOT NULL,
some_data Map(String, String),
create_date DateTime64(3, 'Europe/Moscow')
)
ENGINE = ReplacingMergeTree
PARTITION BY toYYYYMMDD(create_date) ORDER BY (some_data);
```

суть такая:
пришла запись с уже имеющимся идентификатором
легла сверху с новой create_date, но some_data неизменны.

дальше я полагаю что ReplacingMergeTree должен будет схлопнуть 2 строки в одну, автоматом удалив из старой партиции данные.

Другимо словами - перепрыгнет ли запись в новую партицию?

Нужно это затем чтобы ежедневно заливать данные и раз в месяц дропать старые партиции (даные по которым не было изменений)

#backend #clickhouse #database #devops #programming #russian

0

01.09.2022

8 ответов

26 просмотров

Константин

Можете тут посмотреть https://gist.github.com/den-crane/0e9e2347546f88a83e0aebc8f4165743

0

01.09.2022

Артем Разуваев Автор вопроса

Константин
Нет, они лягут в разные партиции

то есть мердж на них не подействует?

0

01.09.2022

Константин

Артем Разуваев
то есть мердж на них не подействует?

Откройте GIST там понятно всё.

0

01.09.2022

Артем Разуваев Автор вопроса

Константин
Откройте GIST там понятно всё.

моё уважение )

0

01.09.2022

Константин

Артем Разуваев
то есть мердж на них не подействует?

Мержи идут в одной партиции, то есть если у вас будет лежать старая запись в старой партиции, а у вас придёт новая запись и она попадёт в новую, то они друг о друге знать не будут. И будут вместе показываться

0

01.09.2022

Boris

Артем Разуваев
моё уважение )

если вы хотите простыми словами, то воспринимайте партиции не как "ещё один индекс помимо order by", а как отдельные таблицы связанные при выдаче через union all. Это не совсем точная метафора, но если думать так, то все становится на свои места и очевидные ошибки исчезают сами.

0

01.09.2022

Артем Разуваев Автор вопроса

Константин
Откройте GIST там понятно всё.

Судя по написанному это то что мне и нужно Partition pruning works with (type IN ('tl_segments')) and removes rows with type <> tl_segments and then FINAL finalizes incorrect? rows. То есть новая запись прилетит в другую партицию по дате создания (что корректно) и после FINAL из старой партиции исчезнет ее дубль так как ключ партификации разный а критерих схлопывания(урезания) одинаковый. если не так понял поправь плиз

0

01.09.2022

Константин · Accepted Answer

Константин

Нет, они лягут в разные партиции

0

01.09.2022

184 похожих чатов

Подскажите пожалуйста можно ли делать партицию по обновляемому полю ```sql CREATE TABLE

8 ответов

Похожие вопросы