Добрый день! Подскажите по схеме реализации. Есть большая таблица с сырыми данными

Question

Добрый день! Подскажите по схеме реализации. Есть большая таблица с сырыми данными

которая наполняется условно постоянно.
Но для бизнес-задачи нам часто не нужны сырые данные, а нужна последняя по времени запись в таблице.
Как я понимаю надо на таблицу с сырыми данными повесить MV которая будет перекладывать данные в таблицу с движком который оставит(со временем) оставит в таблице только одну последнюю запись.
Соответственно вопрос как именно необходимо организовать эту таблицу, какой движок выбрать

Как я понимаю решает ReplacingMergeTree, так как он оставляет последнюю вставку, либо если последняя вставка не решает то можно в ver вписать некую версию которая будет указывать движку что данная запись "последняя".

Концепция верная или не очень?

#backend #clickhouse #database #devops #programming #russian

0

19.04.2022

2 ответов

14 просмотров

Anton Mikhalev

если у вас в таблице с сырыми данными есть колонка по которой можно определить версию то в принципе можно и так доставать SELECT dimension, argMax(metric, version) FROM table WHERE filters GROUP BY dimension

0

19.04.2022

Константин · Accepted Answer

Константин

Вижу, что вы не понимаете как работает MV. Вот видео об них https://www.youtube.com/watch?v=1LVJ_WcLgF8&list=PLO3lfQbpDVI-hyw4MyqxEk3rDHw95SzxJ&t=7597s

0

19.04.2022

184 похожих чатов

Добрый день! Подскажите по схеме реализации. Есть большая таблица с сырыми данными

2 ответов

Похожие вопросы