данные приходят из kafka engine
то есть логика сейчас простая: kafka engine -> MV -> all_user_data, получаем, что в таблице all_user_data хранятся все обновленные данные по юзеру, но нужно хранить только одну запись для каждого user_id, как можно это сделать?
Сделать отдельный MV, который читает из all_user_data и складывает в отдельную таблицу или дублировать данные в отдельный кафка топик из которого КХ берет данные и также складывает/перезаписывает данные в отдельной таблице или еще каким то образом?
>Сделать отдельный MV, который читает из all_user_data и складывает в отдельную таблицу проще сделать так. чем городить отдельный кафка топик, как я понимаю топики по наполнению всеравно будут одинаковыми
Посмотрите движки replasingmergeetree/collapsingmergetree
Обсуждают сегодня