Вечер добрый, есть таблица балансов в пг: id, balance, created_at, updated_at время

Question

Вечер добрый, есть таблица балансов в пг: id, balance, created_at, updated_at время

создания аккаунта и время когда обновился баланс
была мысль сделать RMT и последовательно инкрементом подливать сначала новые аккаунты, потом обновленные балансы.
Но понял, что при дневном партиционированнии по дате создания - не получится нормально оптимайзить за предыдущий день, тк апдейты могут быть по очень старым аккаунтам, как советуют тут
https://kb.altinity.com/altinity-kb-queries-and-syntax/altinity-kb-final-clause-speed/
Оптимайзить всю таблицу может быть со временем дорого, сейчас 10кк строк, но очень быстро растем

Хотел бы уточнить будет ли работать в целом такая схема и есть ли варианты по оптимизации?

#backend #clickhouse #database #devops #programming #russian

0

09.10.2023

8 ответов

14 просмотров

Matvey Автор вопроса

Piotr Liakhavets
select * from table_name final prewhere id= X - в ...

id-bigserial вообще)

0

09.10.2023

Vasilij Abrosimov

А цель - получать текущий или на конец конкретного дня баланс? Если да, то неплохо подойдет AggregatingMergeTree.

0

09.10.2023

Matvey Автор вопроса

Vasilij Abrosimov
А цель - получать текущий или на конец конкретного...

Цель текущий всегда актуальный иметь = стейт из пг в кх

0

09.10.2023

Vasilij Abrosimov

Matvey
Цель текущий всегда актуальный иметь = стейт из пг...

Тогда подойдет и RMT, только не надо партиционировать по периоду. Например по id%100. Тогда парты будут регулярно мержиться и оставаться небольшими.

0

09.10.2023

Matvey Автор вопроса

Vasilij Abrosimov
Тогда подойдет и RMT, только не надо партициониров...

а перфоманс джоинов на final сильно проседать будет?

0

09.10.2023

Vasilij Abrosimov

Matvey
а перфоманс джоинов на final сильно проседать буде...

Да, может просесть весьма сильно, но зачем вам final? Дедуплицируйте в селекте. SELECT ... FROM rmt_table ORDER BY updated_at DESC LIMIT 1 BY id А клик пусть себе мержит в фоне.

0

09.10.2023

Matvey Автор вопроса

Vasilij Abrosimov
Да, может просесть весьма сильно, но зачем вам fin...

Благодарюб не знал про LIMIT BY

0

09.10.2023

Piotr Liakhavets · Accepted Answer

select * from table_name final prewhere id= X - в вашем кейсе без потерь ибо ид это праймари кей для реплейсинг табы. Партицирование тут мимо, но если хочется поделить - может помочь "бакетинг", т.е. по префиксу ид (если uuid) или ренжу / остатку от деления на N - зависит от типа ид короче

184 похожих чатов

Вечер добрый, есть таблица балансов в пг: id, balance, created_at, updated_at время

8 ответов

Похожие вопросы