Привет! Давно мучаюсь с проблемой повторяющихся WHERE в подзапросах. SQL: >SELECT 1 JOIN

Question

Привет! Давно мучаюсь с проблемой повторяющихся WHERE в подзапросах. SQL: >SELECT 1 JOIN

(SELECT 2 JOIN (SELECT 3 WHERE id IN (1..999999) USING id WHERE id IN (1..999999)) USING id WHERE id IN (1..999999)

Много подзапросов, критерии выборки в подзепросе повторяются, что есть совсем не хорошо

Теоретически возможное решение, которое не работает:
>WITH (1..999999) AS ids
>SELECT 1 JOIN (SELECT 2 JOIN (SELECT 3 WHERE id IN ids) USING id WHERE id IN ids) USING id WHERE id IN ids

Можно ли сделать WITH видимым во всех подзапросах?

P.S.
- Без внутренних JOIN происходит fullscan.
- Повторящие WHERE IN создают несолько раз один и тот же Set, если он большой это влияет не только на трафик и объем запроса, но и на скорость его исполнения

#backend #clickhouse #database #devops #programming #russian

0

26.06.2019

2 ответов

16 просмотров

Artem Zuikov

Интересный кейс, заведите issue (или добавьте камент в один из существующих, там вроде есть пара про WITH). Сейчас за вас IN во вложенные запросы может пробросить multiple join, то есть писать руками не обязательно - и это еще одна потенциальная возможность не дублировать set, т.к. в этом случае можно без проверки поставить отметку, что он один и тот же (и закешировать его по ходу). При этом механизм кеширования скорее всего стоит делать один и для WITH и для размножения IN

0

26.06.2019

Дмитрий Бережнов · Accepted Answer

Дмитрий Бережнов

Есть два варианта: 1. сделать запрос с использование внешних данных https://clickhouse.yandex/docs/ru/operations/table_engines/external_data/ 2. перед запросом создать таблицу тип memory рукам, заполнить её значениями для IN и уже ей использовать в запросе в IN

0

26.06.2019

184 похожих чатов

Привет! Давно мучаюсь с проблемой повторяющихся WHERE в подзапросах. SQL: >SELECT 1 JOIN

2 ответов

Похожие вопросы