Подскажите, а есть ли способ атомарно переносить данные из таблиц

Question

Подскажите, а есть ли способ атомарно переносить данные из таблиц

с разным партиционированием? Храним данные с дневным партиционированием, так как данные постоянно меняются за последнюю неделю и мы через replace partittion обновляем данные. Планируем добавить таблицу с месячным партиционированием и объединить через Merge таблицу, для того чтобы уменьшить число партов.

Пока в голову приходит только такой вариант, будет небольшой промежуток времени без данных за месяц, может можно оптимальнее?

INSERT INTO monthly_tmp
DROP PARTITIONS daily 01..31
REPLACE PARTITION monthly FROM monthly_tmp

#backend #clickhouse #database #devops #programming #russian

0

17.01.2022

13 ответов

34 просмотра

Konstantin Ilchenko Автор вопроса

【D】【J】
Атомарно нельзя, но тикетов есть куча на разное ги...

но их не будут делать, я спрашивал в issue Roadmap 2022

0

17.01.2022

【D】【J】

Konstantin Ilchenko
но их не будут делать, я спрашивал в issue Roadmap...

Обязательно бахнем, весь мир в труху, но потом )

0

17.01.2022

Konstantin Ilchenko Автор вопроса

【D】【J】
Обязательно бахнем, весь мир в труху, но потом )

ждёмс пока) может что-то интересное в облаке выкатят)

0

17.01.2022

【D】【J】

Атомарнее лучше так: Insert into monthlytmp Detach partition from monthlytmp Drop partition 01 Attach to monthly При одинаковых схемах monthly / monthlytmp должно быть ок, и переливать можно каждый день

0

17.01.2022

Konstantin Ilchenko Автор вопроса

【D】【J】
Атомарнее лучше так: Insert into monthlytmp Detach...

monthlytmp c дневным партиционированием имеется ввиду? нормально будет аттачить к месячной таблице?

0

17.01.2022

【D】【J】

Konstantin Ilchenko
monthlytmp c дневным партиционированием имеется вв...

Нет. Monthlytmp месячный. Туда вставка из дневной идет.

0

17.01.2022

Konstantin Ilchenko Автор вопроса

【D】【J】
Нет. Monthlytmp месячный. Туда вставка из дневной ...

а чем тогда detach/attach лучше чем replace?

0

17.01.2022

【D】【J】

Konstantin Ilchenko
а чем тогда detach/attach лучше чем replace?

Имеет смысл только если данных много ессно

0

17.01.2022

Konstantin Ilchenko Автор вопроса

【D】【J】
Имеет смысл только если данных много ессно

партицию размером 133.98 GiB за 0.5 сек replace делает

0

17.01.2022

【D】【J】

Konstantin Ilchenko
партицию размером 133.98 GiB за 0.5 сек replace де...

если на разных дисках - то нет. тут больше вопрос хотите ли вы переливать по дням или вас устраивает капитальный перелив раз в месяц. если второе, сколько времени вам ок на это выделить (сам replace то быстр, но insert-select нет). итд, итп.

0

17.01.2022

Konstantin Ilchenko Автор вопроса

【D】【J】
если на разных дисках - то нет. тут больше вопрос...

Ну это понятно, но в теории 1 раз жирный инсерт сделать ночью и 1 жирный мерж потратит меньше цпу чем 30 мержей

0

17.01.2022

【D】【J】

Konstantin Ilchenko
Ну это понятно, но в теории 1 раз жирный инсерт сд...

не будет одного жирного мерджа, будут много на каждый Н-ый инсерт

0

17.01.2022