Всем привет! ClickHouse не поддерживает использование внешней переменной внутри подзапроса?

Question

ClickHouse не тормозит

galamsharx

Всем привет! ClickHouse не поддерживает использование внешней переменной внутри подзапроса?

И Если да, есть ли обходные пути и где об этом можно подробнее прочитать?

#backend #clickhouse #database #devops #programming #russian

0

05.10.2023

12 ответов

6 просмотров

galamsharx Автор вопроса

Slach [altinity]
вы имеете ввиду correlated sub-queries? на https:...

Я написал ужасно медленный запрос с JOIN и хочу заменить их на subquery, чтобы хоть как-то ускорить. https://fiddle.clickhouse.com/5bc56016-2150-424a-a576-bfdf2e892494 Это что сейчас есть, пока на subquery не переписывал. Данные mock и возможно ожидаемого результата не выдаст. Я вообще новичок в этой теме, буду рад любым советам, прошу строго не судить, хе-хе 🙂 Можно заметить, что данные нормализированные, потому что это КР с Postgres через Yandex Data Transfer.

0

8 месяцев назад

Tetra

а зачем тащить это в клик не меняя структуры? перед заливкой в клик денормализуйте данные

0

8 месяцев назад

galamsharx Автор вопроса

Tetra
а зачем тащить это в клик не меняя структуры? пере...

не хотел заморачиваться с трансфером поднимая другие сервисы, а в YDT нету такой функции вроде :( что можете предложить?

0

8 месяцев назад

Tetra

galamsharx
не хотел заморачиваться с трансфером поднимая друг...

заморочиться с денормализацией, в клике джойны очень дорогие и в вашем случае наверняка дешевле подобные запросы делать в ПГ без клика, просто докиньте ресурсов

0

8 месяцев назад

Tetra

а скажите в чем сакральный смысл делать сортируемую проекцию вместо указывания этих полей в order by самой таблицы? Типа сделать Order by IdMessage, Status, Id ?

0

8 месяцев назад

galamsharx Автор вопроса

Tetra
а скажите в чем сакральный смысл делать сортируему...

Если я правильно понял, то, Sorting Key указывается при создании таблицы. Опять таки, YDT не дает возможности настраивать это

0

8 месяцев назад

Slach [altinity]

galamsharx
Я написал ужасно медленный запрос с JOIN и хочу за...

так у вас WITH это по сути и есть sub query сейчас из того за что зацепился глаз 1) SELECT DISTINCT ... GROUP BY кажется можно без DISTINCT тут или может SELECT ... FROM ... FINAL ... GROUP BY 2) FROM WebhookHubMessages wwhm INNER JOIN processed_messages pm ON pm.IdMessage = wwhm.IdMessage WHERE wwhm.AccountId = pm.AccountId AND __data_transfer_delete_time тут кажется то что часть в WHERE можно перенести в ON

0

8 месяцев назад

galamsharx Автор вопроса

Slach [altinity]
так у вас WITH это по сути и есть sub query сейчас...

Спасибо за ответ! Как я понимаю, избавиться от этих джойнов нельзя?

0

8 месяцев назад

Dmitry [Altinity] Titov

galamsharx
Я написал ужасно медленный запрос с JOIN и хочу за...

Попробуйте другие join_algorithm parallel_hash и тд

0

8 месяцев назад

Slach [altinity]

galamsharx
Спасибо за ответ! Как я понимаю, избавиться от эти...

ну вы сначала посмотрите какой запрос в WITH самый медленный по отдельности... пробуйте его оптимизировать... ну и вообще с EXPLAIN планами запросов посмотрите может у вас больше всего времени на группировку уходит...

0

8 месяцев назад

galamsharx Автор вопроса

Slach [altinity]
ну вы сначала посмотрите какой запрос в WITH самый...

Огромное спасибо! Обязательно последую вашим советам

0

8 месяцев назад

Slach [altinity] · Accepted Answer

Slach [altinity]

вы имеете ввиду correlated sub-queries? на https://fiddle.clickhouse.com/ выложите CREATE TABLE + SELECT и скиньте ссылку

0

8 месяцев назад

184 похожих чатов

Всем привет! ClickHouse не поддерживает использование внешней переменной внутри подзапроса?

12 ответов

Похожие вопросы