Приветствую всех, возможно кто-то стакливался с подобной проблемой. Есть продукты (1

Question

Приветствую всех, возможно кто-то стакливался с подобной проблемой. Есть продукты (1

000 000+) и ордера (10 000 000+).
Необходима таблица объединяющая информацию ореда и продукта, для этого был создан materialized_view с FROM из таблицы оредеров
и джойном продуктов в селекте для этого MV.

Такой MV работает но часто при вставках в order выбивает ошибку:
"Memory limit (total) exceeded: would use 28.26 GiB (attempt to allocate chunk of 4462790 bytes), maximum: 28.22 GiB."

Вероятнее всего проблема в джойне таблицы продуктов на 1 000 000 строк, но в этом джойне нет возможности ограничить выборку условием WHERE (нет таких полей по которым можно было бы отфильтровать).

Как можно избежать выжирания памяти джойном, но при этом без проблем совмещать данные двух больших таблиц в одном materialized_view?
Пример стркутуры данных:

https://fiddle.clickhouse.com/73edc75e-ed60-4efe-8c70-cb23f8b5e573

#backend #clickhouse #database #devops #programming #russian

0

14.07.2023

3 ответов

9 просмотров

Ilya Martynuyk Автор вопроса

Sergey Churin
в запросе MV имя таблицы, на которую навешивается ...

Интересно, попробую этот метод, спасибо!

0

14.07.2023

Slach [altinity]

продукты в словарь загоните и dictGet используйте... словари разные бывают, можно cache layout какой нибудь замутить...

0

14.07.2023

Sergey Churin · Accepted Answer

в запросе MV имя таблицы, на которую навешивается MV - это в любом месте запроса только пачка вставляемых данных, а не вся таблица. Поэтому можно в подзапросе проверять только те id, которые есть во вставляемой пачке. https://fiddle.clickhouse.com/52a42f43-7cdb-4f04-be4c-d41175ff19b0

184 похожих чатов

Приветствую всех, возможно кто-то стакливался с подобной проблемой. Есть продукты (1

3 ответов

Похожие вопросы