слить в одну. Можно ли это сделать в clickhouse?
Что значит слить в одну?
Есть отношение OneToMany по полю match_id, хотел как в реляционных базах использовать JOIN для запросов, но поскольку одна таблица 1.5 терабайта, а другая 70 гигабайт, у меня нет возможности выгружать ни одну из них в оперативку. В связи с этим, чтобы отказаться от JOIN'ов, хочу иметь все данные в одной таблице
скорее всего это нужно сделать до КХ
То есть выгрузить все данные и вставлять уже в нужную архитектуру?
вы хотите разово сделать одну большую таблицу и туда писать селекты или вы хотите писать в одну таблицу и потом из нее делать селекты?
Не совсем понял, а в чем принципиальная разница?
в том что если у вас статичные данные, то скорее всего можно несколькими запросами слить две таблицы в одну и из нее делать селекты. А если у вас динамические данные, то вам нужно перед вставкой в КХ соединить данные и вставлять в одну таблицу.
Данные статичные. Просто после сливания таблицы изменим запрос на вставку и будем объединять данные
тогда сделайте таблицу с нужной структурой, перелейте туда данные несколькими запросами из двух таблиц (чтобы правой таблице хватало памяти) и дальше меняйте запрос на вставку и пишите в новую таблицу
Понял, спасибо. Буду пробовать
Обсуждают сегодня