Здравствуйте, товарищи! вот есть у меня: tableA - таблица, примерно 300млн записей tableB

Question

Здравствуйте, товарищи! вот есть у меня: tableA - таблица, примерно 300млн записей tableB

- словарь, примерно 5,5млн записей
tableC - таблица (заполняется из матвью), около 4,3 млрд записей

и есть запрос примерно такой:
SELECT a.field1, a.field2, a.field3,
b.field6, c.field5
FROM tableA AS a
LEFT OUTER JOIN tableB AS b
ON b.some_id1 = a.some_id1
LEFT OUTER JOIN tableC AS c
ON c.some_id1 = a.some_id1
AND c.some_id2 = a.some_id2
WHERE a.field6=123
AND a.field7 IN ('value1', 'value2')

вот этот запрос падает с таймаутом, очень долгий. похоже я чего-то не знаю про джойны, ощущение, что КХ сначала джойнит, а потом применяет where

помогите, пожалуйста, в какую сторону думать/смотреть/читать/переделать запрос/уйти в монастырь?

#backend #clickhouse #database #devops #programming #russian

0

31.05.2023

17 ответов

12 просмотров

Виктор Большаков Автор вопроса

Константин
Правильное ощущение

а есть вариант сначала выбрать, а потом сджойнить?

0

31.05.2023

Константин

Виктор Большаков
а есть вариант сначала выбрать, а потом сджойнить?

Увеличить таймаут на запрос ?

0

31.05.2023

Виктор Большаков Автор вопроса

Константин
Увеличить таймаут на запрос ?

5 минут на запрос...

0

31.05.2023

Andrew

table C нельзя разрезать на отдельные? индексация полей в таблицах B и C включена?

0

31.05.2023

Виктор Большаков Автор вопроса

Andrew
table C нельзя разрезать на отдельные? индексация ...

нет, там ключи, по которым джойн и поле, которое выбирается и всё, больше нет ничего, а по ключам непонятно как разрезать - это просто числа... ну и спрогнозировать как они попадут в выборку тоже не получится

0

31.05.2023

Alex Treger

Постарайтесь сначала отфильтровать каждую таблицу по известным вам данным, а потом джойните уже отфильтрованные данные из подзапросов. Базовый фильтрующий запрос можно вынести в WITH: WITH some_res as (SELECT …) SELECT … FROM some_res JOIN ( SELECT … FROM t2 WHERE param IN (SELECT param FROM some_res)

0

31.05.2023

Andrew

Виктор Большаков
нет, там ключи, по которым джойн и поле, которое в...

попробуйте поменять местами LEFT OUTER JOIN tableB AS b ON b.some_id1 = a.some_id1 LEFT OUTER JOIN tableC AS c ON c.some_id1 = a.some_id1 AND c.some_id2 = a.some_id2 на LEFT OUTER JOIN tableC AS c ON c.some_id1 = a.some_id1 AND c.some_id2 = a.some_id2 LEFT OUTER JOIN tableB AS b ON b.some_id1 = a.some_id1

0

31.05.2023

Виктор Большаков Автор вопроса

Andrew
попробуйте поменять местами LEFT OUTER JOIN ta...

не помогло

0

31.05.2023

Виктор Большаков Автор вопроса

Alex Treger
Постарайтесь сначала отфильтровать каждую таблицу ...

о, вот это помогло, спасибо (:

0

31.05.2023