Коллеги, добрый день! Такая ситуация: есть большой запрос с вложенными

Question

Коллеги, добрый день! Такая ситуация: есть большой запрос с вложенными

селектами и юнионами. На КХ версии 20 работает прекрасно, на КХ версии 22 не работает. Выдаёт ошибку "AST is too big". Изменение значений параметров mas_ast_elements и max_expanded_ast_elements ни к чему не привели. Помогло изменение значение параметра enable_global_with_statement = 0. Как пишут тут https://github.com/ClickHouse/ClickHouse/issues/32139 - такая манипуляция приведёт к тому, что предел ast не будет достигнут. Лезу в описании опции и вижу "Propagate WITH statements to UNION queries and all subqueries". И тут, я честно говоря, не очень понял смысла. Подскажите пожалуйста "на пальцах", что делает эта опция?

#backend #clickhouse #database #devops #programming #russian

0

06.09.2022

8 ответов

43 просмотра

i ☭ Автор вопроса

Dmitry [Altinity] Titov
Вы можете обращаться к значениям из WITH на любом ...

так. ну получается, что enable_global_with_statement = 0 выключает эту возможность? и получается, что именно при выключенной опции всё заработало

0

06.09.2022

Dmitry [Altinity] Titov

i ☭
так. ну получается, что enable_global_with_stateme...

Да, в целом все логично. Если есть возможность использовать внешний WITH на всех уровнях вложенности, значит кх на уровне AST пропихивает данное WITH на все уровни

0

06.09.2022

Алексей Фирсов

Еще такое выскакивает часто, если у вас много запросов, обернутых в скаляр, типа ``` (select count() from table) as something``` Если переделать в something as (select count() from table) то ошибка уходит. Также, иногда помогает cte-шки местами поменять, как это ни странно звучит )

0

06.09.2022

i ☭ Автор вопроса

Алексей Фирсов
Еще такое выскакивает часто, если у вас много запр...

чудеса)

0

06.09.2022

Dmitry [Altinity] Titov

Алексей Фирсов
Еще такое выскакивает часто, если у вас много запр...

переделывать не стоит > (select count() from table) as something В > something as (select count() from table) Первое у вас это скаляр, он посчитается один раз, второе у вас это таблица, он будет считаться каждый раз как вы используете это в запросе

0

06.09.2022

Алексей Фирсов

Dmitry [Altinity] Titov
переделывать не стоит > (select count() from tab...

Я несколько раз сталкивался с обратным поведением у клика - когда скаляр считается дольше. И тут в чате недавно был пример, когда человек переделал скаляр на запрос и в итоге результат был в 4 раза быстрее...

0

06.09.2022

Dmitry [Altinity] Titov

Алексей Фирсов
Я несколько раз сталкивался с обратным поведением ...

для запросов в некоторых случая работает WHERE пропихивание

0

06.09.2022

Dmitry [Altinity] Titov · Accepted Answer

Dmitry [Altinity] Titov

Вы можете обращаться к значениям из WITH на любом уровне вложенности запроса

0

06.09.2022

184 похожих чатов

Коллеги, добрый день! Такая ситуация: есть большой запрос с вложенными

8 ответов

Похожие вопросы