Добрый вечер. Как можно оптимизировать проверку в условии IN, если внутри

Question

Добрый вечер. Как можно оптимизировать проверку в условии IN, если внутри

подзапрос возвращающий больше 100 млн значений?
Есть такой запрос:
select ...
from big_table
where ...
and obj_hash in ( select obj_hash from obj_white_list_100m )

Он проверяет, что значения obj_hash содержаться в "белом" списке объектов. Посмотрел в логах - там создаётся хэш-таблица, она занимает 10гб оперативки и на это уходит минута времени примерно.

Я сначала подумал использовать словарь и dictHas, но многовато наверное для словаря (больше 100 млн записей сейчас)?

#backend #clickhouse #database #devops #programming #russian

0

25.05.2021

3 ответов

8 просмотров

primorial

А в select из большой таблицы, если не брать последнее отсечение по хэшу из whitelist, сколько получается данных? Правый whitelist динамический (может со временем меняться) или просто большая статическая таблица?

0

25.05.2021

Vladimir Goncharov

Можно переделать эту таблицу на engine=join, чтобы она всегда была в памяти

0

25.05.2021

Denny [Altinity] · Accepted Answer

Denny [Altinity]

ну никак. Это самый быстрый вариант. Тут даже без КХ сложно придумать как это сделать быстрее.

0

25.05.2021

184 похожих чатов

Добрый вечер. Как можно оптимизировать проверку в условии IN, если внутри

3 ответов

Похожие вопросы